CLASSEMENT DES MODÈLES OUVERTS
Mesuré ici.
Sourcé ailleurs.
Les modèles à poids ouverts qu’exécute Undergrove, côte à côte : les scores de benchmarks tels que les publient leurs éditeurs, chacun relié à la page d’où il vient, et la vitesse que nous mesurons nous-mêmes chaque semaine. Rien ici n’est estimé.
Ce que publie chaque éditeur.
Les scores de la fiche de chaque modèle, tels qu’ils y figurent. Choisissez un benchmark pour classer selon lui ; un tiret signifie que l’éditeur ne publie pas ce benchmark pour ce modèle, et nous non plus.
Classé par GPQA Diamond, du plus haut au plus bas.
| Modèle | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93,5%max. | 43,5%max. · sans outils | 56,0%max. · outils | 88,3%max. | Non publié | Non publié |
| DeepSeek V4.1 Flash | 90,9%max. | 36,8%max. · sans outils | 63,9%max. · outils | 90,6%max. | 3 471max. | Non publié |
| Gemma 4 31B | 84,3% | 19,5%sans outils | Non publié | Non publié | 2 150 | 85,2% |
| GPT-OSS 120B | 80,1%élevé · sans outils | 14,9%élevé · sans outils | 19,0%élevé · outils | Non publié | 2 463élevé · sans outils | Non publié |
| Llama 3.3 70B | 50,5%0-shot · CoT | Non publié | Non publié | Non publié | Non publié | 68,9%5-shot · CoT |
| GLM-5.3 | Non publié | Non publié | 62,5%outils | 88,2% | Non publié | Non publié |
Chaque éditeur fait ses propres tests avec ses propres réglages : niveau de raisonnement, outils, nombre d’essais et parfois son propre banc d’évaluation. Deux scores d’éditeurs différents à quelques points d’écart ne se comparent pas à conditions égales. Nous n’avons pas relancé ces benchmarks nous-mêmes.
La vitesse, mesurée chaque semaine.
Une fois par semaine, un script envoie à chaque modèle les trois mêmes requêtes courtes via notre API pour développeurs, avec le réglage de raisonnement que l’espace de travail utilise par défaut, et note le délai avant le premier mot et la vitesse à laquelle arrive le reste. Les chiffres sont des médianes, avec le nombre de réponses dont ils sont tirés.
Pas encore mesuré.
La première mesure hebdomadaire n’a pas encore eu lieu, il n’y a donc pas de chiffres de vitesse ici. Nous n’afficherons pas d’estimation à leur place. D’ici là, le rythme de chaque modèle sur la page des modèles est une catégorie selon sa façon de répondre par défaut, pas une mesure.
Chaque score, avec sa source.
Tous les chiffres repris de chaque fiche de modèle, au-delà des colonnes ci-dessus, et les conditions que l’éditeur indique pour chacun.
Kimi K3
- GPQA Diamondraisonnement maximal93,5%
- Humanity’s Last Exam (HLE-Full)raisonnement maximal · sans outils43,5%
- Humanity’s Last Exam, with tools (HLE-Full)raisonnement maximal · avec outils56,0%
- Terminal-Bench 2.1raisonnement maximal88,3%
- BrowseCompraisonnement maximal91,2%
- OSWorld-Verifiedraisonnement maximal84,8%
- MMMU-Proraisonnement maximal · sans outils81,6%
Kimi K3 model card de Moonshot AIConsulté le 30 octobre 2026
GLM-5.3
- Humanity’s Last Exam, with toolsavec outils62,5%
- Terminal-Bench 2.188,2%
- DeepSWE v1.166,9%
- CyberGymraisonnement maximal84,5%
- Toolathlon Verified73,0%
GLM-5.3 model card de Z.aiConsulté le 30 octobre 2026
DeepSeek V4.1 Flash
- GPQA Diamondraisonnement maximal90,9%
- Humanity’s Last Examraisonnement maximal · sans outils36,8%
- Humanity’s Last Exam, with toolsraisonnement maximal · avec outils63,9%
- Terminal-Bench 2.1raisonnement maximal90,6%
- Codeforcesraisonnement maximal3 471
- DeepSWE v1.1raisonnement maximal74,2%
- CyberGymraisonnement maximal88,1%
DeepSeek-V4.1-Flash model card de DeepSeekConsulté le 30 octobre 2026
Gemma 4 31B
- GPQA Diamond84,3%
- Humanity’s Last Examsans outils19,5%
- Codeforces2 150
- MMLU-Pro85,2%
- Humanity’s Last Exam, with searchavec recherche web26,5%
- AIME 2026sans outils89,2%
- LiveCodeBench v680,0%
- MMMU-Pro76,9%
- τ²-benchmoyenne de 3 essais76,9%
Gemma 4 31B-it model card de GoogleConsulté le 30 octobre 2026
GPT-OSS 120B
- GPQA Diamondraisonnement élevé · sans outils80,1%
- Humanity’s Last Examraisonnement élevé · sans outils14,9%
- Humanity’s Last Exam, with toolsraisonnement élevé · avec outils19,0%
- Codeforcesraisonnement élevé · sans outils2 463
- MMLUraisonnement élevé90,0%
- SWE-bench Verifiedraisonnement élevé62,4%
- AIME 2025raisonnement élevé · sans outils92,5%
- τ-bench Retailraisonnement élevé67,8%
gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 de OpenAIConsulté le 30 octobre 2026
Llama 3.3 70B
- GPQA Diamond0-shot · chaîne de pensée50,5%
- MMLU-Pro5-shot · chaîne de pensée68,9%
- MMLU0-shot · chaîne de pensée86,0%
- HumanEval0-shot88,4%
- IFEval92,1%
- MATH0-shot · chaîne de pensée77,0%
- MGSM0-shot91,1%
Llama 3.3 70B Instruct model card de MetaConsulté le 30 octobre 2026
Sources
- Kimi K3 model card de Moonshot AIConsulté le 30 octobre 2026
- GLM-5.3 model card de Z.aiConsulté le 30 octobre 2026
- DeepSeek-V4.1-Flash model card de DeepSeekConsulté le 30 octobre 2026
- Gemma 4 31B-it model card de GoogleConsulté le 30 octobre 2026
- gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 de OpenAIConsulté le 30 octobre 2026
- Llama 3.3 70B Instruct model card de MetaConsulté le 30 octobre 2026
Les scores sont repris à la main de la fiche de chaque éditeur quand un modèle arrive sur Undergrove, et revérifiés quand la fiche change ; la tâche hebdomadaire vérifie aussi que chaque page citée ici répond toujours. Un score que nous ne pouvons pas montrer sur la page d’un éditeur n’apparaît pas.