RANGLISTE OFFENER MODELLE
Hier gemessen.
Anderswo belegt.
Die Open-Weight-Modelle, die Undergrove betreibt, im Vergleich: Benchmark-Werte, wie ihre Herausgeber sie angeben, jeweils mit Link zur Quelle, und Geschwindigkeit, die wir jede Woche selbst messen. Nichts hier ist geschätzt.
Was jeder Herausgeber angibt.
Werte aus der Model Card jedes Modells, wie dort angegeben. Wählen Sie einen Benchmark, um danach zu sortieren; ein Strich bedeutet, dass der Herausgeber diesen Benchmark für dieses Modell nicht angibt – und wir daher auch nicht.
Nach GPQA Diamond sortiert, höchster Wert zuerst.
| Modell | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93,5%max. | 43,5%max. · ohne Werkzeuge | 56,0%max. · Werkzeuge | 88,3%max. | Nicht angegeben | Nicht angegeben |
| DeepSeek V4.1 Flash | 90,9%max. | 36,8%max. · ohne Werkzeuge | 63,9%max. · Werkzeuge | 90,6%max. | 3.471max. | Nicht angegeben |
| Gemma 4 31B | 84,3% | 19,5%ohne Werkzeuge | Nicht angegeben | Nicht angegeben | 2.150 | 85,2% |
| GPT-OSS 120B | 80,1%hoch · ohne Werkzeuge | 14,9%hoch · ohne Werkzeuge | 19,0%hoch · Werkzeuge | Nicht angegeben | 2.463hoch · ohne Werkzeuge | Nicht angegeben |
| Llama 3.3 70B | 50,5%0-shot · CoT | Nicht angegeben | Nicht angegeben | Nicht angegeben | Nicht angegeben | 68,9%5-shot · CoT |
| GLM-5.3 | Nicht angegeben | Nicht angegeben | 62,5%Werkzeuge | 88,2% | Nicht angegeben | Nicht angegeben |
Jeder Herausgeber testet selbst, mit eigenen Einstellungen: Denkstufe, Werkzeuge, Zahl der Versuche und manchmal einer eigenen Testumgebung. Zwei Werte verschiedener Herausgeber, die wenige Punkte auseinanderliegen, sind kein Vergleich unter gleichen Bedingungen. Wir haben diese Benchmarks nicht selbst wiederholt.
Geschwindigkeit, wöchentlich gemessen.
Einmal pro Woche schickt ein Skript jedem Modell dieselben drei kurzen Anfragen über unsere Entwickler-API, mit der Denkeinstellung, die der Arbeitsbereich standardmäßig nutzt, und hält fest, wie lange das erste Wort dauert und wie schnell der Rest kommt. Die Zahlen sind Mediane, mit der Zahl der Antworten, aus denen sie stammen.
Noch nicht gemessen.
Die erste wöchentliche Messung ist noch nicht gelaufen, daher stehen hier keine Geschwindigkeitswerte. Eine Schätzung zeigen wir nicht an ihrer Stelle. Bis dahin ist das Tempo jedes Modells auf der Modellseite eine Klasse nach seinem Standardverhalten, keine Messung.
Jeder Wert, mit seiner Quelle.
Alle Zahlen, die wir aus jeder Model Card übernommen haben, über die Spalten oben hinaus, und die Bedingungen, die der Herausgeber jeweils nennt.
Kimi K3
- GPQA Diamondmaximales Denken93,5%
- Humanity’s Last Exam (HLE-Full)maximales Denken · ohne Werkzeuge43,5%
- Humanity’s Last Exam, with tools (HLE-Full)maximales Denken · mit Werkzeugen56,0%
- Terminal-Bench 2.1maximales Denken88,3%
- BrowseCompmaximales Denken91,2%
- OSWorld-Verifiedmaximales Denken84,8%
- MMMU-Promaximales Denken · ohne Werkzeuge81,6%
Kimi K3 model card von Moonshot AIAbgerufen am 30. Oktober 2026
GLM-5.3
- Humanity’s Last Exam, with toolsmit Werkzeugen62,5%
- Terminal-Bench 2.188,2%
- DeepSWE v1.166,9%
- CyberGymmaximales Denken84,5%
- Toolathlon Verified73,0%
GLM-5.3 model card von Z.aiAbgerufen am 30. Oktober 2026
DeepSeek V4.1 Flash
- GPQA Diamondmaximales Denken90,9%
- Humanity’s Last Exammaximales Denken · ohne Werkzeuge36,8%
- Humanity’s Last Exam, with toolsmaximales Denken · mit Werkzeugen63,9%
- Terminal-Bench 2.1maximales Denken90,6%
- Codeforcesmaximales Denken3.471
- DeepSWE v1.1maximales Denken74,2%
- CyberGymmaximales Denken88,1%
DeepSeek-V4.1-Flash model card von DeepSeekAbgerufen am 30. Oktober 2026
Gemma 4 31B
- GPQA Diamond84,3%
- Humanity’s Last Examohne Werkzeuge19,5%
- Codeforces2.150
- MMLU-Pro85,2%
- Humanity’s Last Exam, with searchmit Websuche26,5%
- AIME 2026ohne Werkzeuge89,2%
- LiveCodeBench v680,0%
- MMMU-Pro76,9%
- τ²-benchMittel aus 3 Läufen76,9%
Gemma 4 31B-it model card von GoogleAbgerufen am 30. Oktober 2026
GPT-OSS 120B
- GPQA Diamondhohes Denken · ohne Werkzeuge80,1%
- Humanity’s Last Examhohes Denken · ohne Werkzeuge14,9%
- Humanity’s Last Exam, with toolshohes Denken · mit Werkzeugen19,0%
- Codeforceshohes Denken · ohne Werkzeuge2.463
- MMLUhohes Denken90,0%
- SWE-bench Verifiedhohes Denken62,4%
- AIME 2025hohes Denken · ohne Werkzeuge92,5%
- τ-bench Retailhohes Denken67,8%
gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 von OpenAIAbgerufen am 30. Oktober 2026
Llama 3.3 70B
- GPQA Diamond0-shot · Chain of Thought50,5%
- MMLU-Pro5-shot · Chain of Thought68,9%
- MMLU0-shot · Chain of Thought86,0%
- HumanEval0-shot88,4%
- IFEval92,1%
- MATH0-shot · Chain of Thought77,0%
- MGSM0-shot91,1%
Llama 3.3 70B Instruct model card von MetaAbgerufen am 30. Oktober 2026
Quellen
- Kimi K3 model card von Moonshot AIAbgerufen am 30. Oktober 2026
- GLM-5.3 model card von Z.aiAbgerufen am 30. Oktober 2026
- DeepSeek-V4.1-Flash model card von DeepSeekAbgerufen am 30. Oktober 2026
- Gemma 4 31B-it model card von GoogleAbgerufen am 30. Oktober 2026
- gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 von OpenAIAbgerufen am 30. Oktober 2026
- Llama 3.3 70B Instruct model card von MetaAbgerufen am 30. Oktober 2026
Die Werte werden von Hand aus der Model Card des Herausgebers übernommen, wenn ein Modell zu Undergrove kommt, und erneut geprüft, wenn sich die Card ändert; der wöchentliche Job prüft außerdem, ob jede hier zitierte Seite noch erreichbar ist. Ein Wert, den wir nicht auf der Seite eines Herausgebers belegen können, wird nicht aufgeführt.