דירוג המודלים הפתוחים
מדידות משלנו.
ציונים ממקורם.
המודלים עם המשקלים הפתוחים ש־Undergrove מריץ, זה לצד זה: ציוני מבחני ביצועים כפי שהמפרסמים שלהם מדווחים, כל אחד עם קישור לדף שממנו הגיע, ומהירות שאנחנו מודדים בעצמנו כל שבוע. שום דבר כאן אינו הערכה.
מה כל מפרסם מדווח.
ציונים מכרטיס המודל של כל מודל, כפי שהם כתובים שם. לחצו על מבחן ביצועים כדי לדרג לפיו; מקף אומר שהמפרסם לא מדווח על המבחן הזה עבור המודל הזה, ולכן גם אנחנו לא.
מדורג לפי GPQA Diamond, מהגבוה לנמוך.
| מודל | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93.5%מקס׳ | 43.5%מקס׳ · בלי כלים | 56.0%מקס׳ · כלים | 88.3%מקס׳ | לא דווח | לא דווח |
| DeepSeek V4.1 Flash | 90.9%מקס׳ | 36.8%מקס׳ · בלי כלים | 63.9%מקס׳ · כלים | 90.6%מקס׳ | 3,471מקס׳ | לא דווח |
| Gemma 4 31B | 84.3% | 19.5%בלי כלים | לא דווח | לא דווח | 2,150 | 85.2% |
| GPT-OSS 120B | 80.1%גבוהה · בלי כלים | 14.9%גבוהה · בלי כלים | 19.0%גבוהה · כלים | לא דווח | 2,463גבוהה · בלי כלים | לא דווח |
| Llama 3.3 70B | 50.5%0-shot · CoT | לא דווח | לא דווח | לא דווח | לא דווח | 68.9%5-shot · CoT |
| GLM-5.3 | לא דווח | לא דווח | 62.5%כלים | 88.2% | לא דווח | לא דווח |
כל מפרסם מריץ בדיקות משלו עם הגדרות משלו: רמת חשיבה, כלים, מספר ניסיונות ולפעמים גם סביבת בדיקה משלו. שני ציונים ממפרסמים שונים שההפרש ביניהם כמה נקודות אינם השוואה של דבר זהה. לא הרצנו את מבחני הביצועים האלה מחדש בעצמנו.
מהירות, נמדדת מדי שבוע.
פעם בשבוע סקריפט שולח לכל מודל את אותן שלוש בקשות קצרות דרך ה־API למפתחים שלנו, בהגדרת החשיבה שסביבת העבודה משתמשת בה כברירת מחדל, ורושם כמה זמן לוקח עד המילה הראשונה ובאיזו מהירות השאר מגיע. הנתונים הם חציונים, עם מספר התשובות שמהן הם חושבו.
עדיין לא נמדד.
המדידה השבועית הראשונה עדיין לא רצה, ולכן אין כאן נתוני מהירות. לא נציג הערכה במקומם. עד אז, הקצב של כל מודל בדף המודלים הוא סיווג לפי האופן שבו הוא עונה כברירת מחדל, לא מדידה.
כל הציונים, עם המקור שלהם.
כל הנתונים שהעתקנו מכל כרטיס מודל, מעבר לעמודות שלמעלה, והתנאים שהמפרסם מציין לכל אחד מהם.
Kimi K3
- GPQA Diamondחשיבה מרבית93.5%
- Humanity’s Last Exam (HLE-Full)חשיבה מרבית · בלי כלים43.5%
- Humanity’s Last Exam, with tools (HLE-Full)חשיבה מרבית · עם כלים56.0%
- Terminal-Bench 2.1חשיבה מרבית88.3%
- BrowseCompחשיבה מרבית91.2%
- OSWorld-Verifiedחשיבה מרבית84.8%
- MMMU-Proחשיבה מרבית · בלי כלים81.6%
Kimi K3 model card של Moonshot AIנקרא ב־30 באוקטובר 2026
GLM-5.3
- Humanity’s Last Exam, with toolsעם כלים62.5%
- Terminal-Bench 2.188.2%
- DeepSWE v1.166.9%
- CyberGymחשיבה מרבית84.5%
- Toolathlon Verified73.0%
GLM-5.3 model card של Z.aiנקרא ב־30 באוקטובר 2026
DeepSeek V4.1 Flash
- GPQA Diamondחשיבה מרבית90.9%
- Humanity’s Last Examחשיבה מרבית · בלי כלים36.8%
- Humanity’s Last Exam, with toolsחשיבה מרבית · עם כלים63.9%
- Terminal-Bench 2.1חשיבה מרבית90.6%
- Codeforcesחשיבה מרבית3,471
- DeepSWE v1.1חשיבה מרבית74.2%
- CyberGymחשיבה מרבית88.1%
DeepSeek-V4.1-Flash model card של DeepSeekנקרא ב־30 באוקטובר 2026
Gemma 4 31B
- GPQA Diamond84.3%
- Humanity’s Last Examבלי כלים19.5%
- Codeforces2,150
- MMLU-Pro85.2%
- Humanity’s Last Exam, with searchעם חיפוש באינטרנט26.5%
- AIME 2026בלי כלים89.2%
- LiveCodeBench v680.0%
- MMMU-Pro76.9%
- τ²-benchממוצע של 3 הרצות76.9%
Gemma 4 31B-it model card של Googleנקרא ב־30 באוקטובר 2026
GPT-OSS 120B
- GPQA Diamondחשיבה גבוהה · בלי כלים80.1%
- Humanity’s Last Examחשיבה גבוהה · בלי כלים14.9%
- Humanity’s Last Exam, with toolsחשיבה גבוהה · עם כלים19.0%
- Codeforcesחשיבה גבוהה · בלי כלים2,463
- MMLUחשיבה גבוהה90.0%
- SWE-bench Verifiedחשיבה גבוהה62.4%
- AIME 2025חשיבה גבוהה · בלי כלים92.5%
- τ-bench Retailחשיבה גבוהה67.8%
gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 של OpenAIנקרא ב־30 באוקטובר 2026
Llama 3.3 70B
- GPQA Diamond0-shot · שרשרת מחשבה50.5%
- MMLU-Pro5-shot · שרשרת מחשבה68.9%
- MMLU0-shot · שרשרת מחשבה86.0%
- HumanEval0-shot88.4%
- IFEval92.1%
- MATH0-shot · שרשרת מחשבה77.0%
- MGSM0-shot91.1%
Llama 3.3 70B Instruct model card של Metaנקרא ב־30 באוקטובר 2026
מקורות
- Kimi K3 model card של Moonshot AIנקרא ב־30 באוקטובר 2026
- GLM-5.3 model card של Z.aiנקרא ב־30 באוקטובר 2026
- DeepSeek-V4.1-Flash model card של DeepSeekנקרא ב־30 באוקטובר 2026
- Gemma 4 31B-it model card של Googleנקרא ב־30 באוקטובר 2026
- gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 של OpenAIנקרא ב־30 באוקטובר 2026
- Llama 3.3 70B Instruct model card של Metaנקרא ב־30 באוקטובר 2026
הציונים מועתקים ידנית מכרטיס המודל של כל מפרסם כשמודל מצטרף ל־Undergrove, ונבדקים שוב כשהכרטיס משתנה; המשימה השבועית בודקת גם שכל דף שמצוטט כאן עדיין עונה. ציון שאיננו יכולים להצביע עליו בדף של מפרסם לא מופיע ברשימה.