CLASIFICACIÓN DE MODELOS ABIERTOS
Medido aquí.
Con fuentes de fuera.
Los modelos de pesos abiertos que ejecuta Undergrove, uno al lado del otro: las puntuaciones de benchmarks tal como las publican sus editores, cada una enlazada a la página de la que sale, y la velocidad que medimos nosotros cada semana. Aquí no hay nada estimado.
Lo que publica cada editor.
Puntuaciones de la ficha de cada modelo, tal como aparecen. Pulsa un benchmark para ordenar por él; un guion significa que el editor no publica ese benchmark para ese modelo, así que nosotros tampoco.
Ordenado por GPQA Diamond, de mayor a menor.
| Modelo | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93,5%máx. | 43,5%máx. · sin herramientas | 56,0%máx. · herramientas | 88,3%máx. | Sin publicar | Sin publicar |
| DeepSeek V4.1 Flash | 90,9%máx. | 36,8%máx. · sin herramientas | 63,9%máx. · herramientas | 90,6%máx. | 3471máx. | Sin publicar |
| Gemma 4 31B | 84,3% | 19,5%sin herramientas | Sin publicar | Sin publicar | 2150 | 85,2% |
| GPT-OSS 120B | 80,1%alto · sin herramientas | 14,9%alto · sin herramientas | 19,0%alto · herramientas | Sin publicar | 2463alto · sin herramientas | Sin publicar |
| Llama 3.3 70B | 50,5%0-shot · CoT | Sin publicar | Sin publicar | Sin publicar | Sin publicar | 68,9%5-shot · CoT |
| GLM-5.3 | Sin publicar | Sin publicar | 62,5%herramientas | 88,2% | Sin publicar | Sin publicar |
Cada editor hace sus propias pruebas con sus propios ajustes: nivel de razonamiento, herramientas, número de intentos y a veces su propio entorno de evaluación. Dos puntuaciones de editores distintos separadas por pocos puntos no son una comparación en igualdad de condiciones. No hemos vuelto a ejecutar estos benchmarks.
Velocidad, medida cada semana.
Una vez por semana, un script envía a cada modelo las mismas tres solicitudes cortas a través de nuestra API para desarrolladores, con el ajuste de razonamiento que el espacio de trabajo usa por defecto, y registra cuánto tarda la primera palabra y a qué ritmo llega el resto. Las cifras son medianas, con el número de respuestas del que salen.
Aún sin medir.
La primera medición semanal aún no se ha hecho, así que aquí no hay cifras de velocidad. No mostraremos una estimación en su lugar. Hasta entonces, el ritmo de cada modelo en la página de modelos es una categoría según cómo responde por defecto, no una medición.
Cada puntuación, con su fuente.
Todas las cifras que copiamos de cada ficha de modelo, más allá de las columnas de arriba, y las condiciones que indica el editor para cada una.
Kimi K3
- GPQA Diamondrazonamiento máximo93,5%
- Humanity’s Last Exam (HLE-Full)razonamiento máximo · sin herramientas43,5%
- Humanity’s Last Exam, with tools (HLE-Full)razonamiento máximo · con herramientas56,0%
- Terminal-Bench 2.1razonamiento máximo88,3%
- BrowseComprazonamiento máximo91,2%
- OSWorld-Verifiedrazonamiento máximo84,8%
- MMMU-Prorazonamiento máximo · sin herramientas81,6%
Kimi K3 model card de Moonshot AIConsultado el 30 de octubre de 2026
GLM-5.3
- Humanity’s Last Exam, with toolscon herramientas62,5%
- Terminal-Bench 2.188,2%
- DeepSWE v1.166,9%
- CyberGymrazonamiento máximo84,5%
- Toolathlon Verified73,0%
GLM-5.3 model card de Z.aiConsultado el 30 de octubre de 2026
DeepSeek V4.1 Flash
- GPQA Diamondrazonamiento máximo90,9%
- Humanity’s Last Examrazonamiento máximo · sin herramientas36,8%
- Humanity’s Last Exam, with toolsrazonamiento máximo · con herramientas63,9%
- Terminal-Bench 2.1razonamiento máximo90,6%
- Codeforcesrazonamiento máximo3471
- DeepSWE v1.1razonamiento máximo74,2%
- CyberGymrazonamiento máximo88,1%
DeepSeek-V4.1-Flash model card de DeepSeekConsultado el 30 de octubre de 2026
Gemma 4 31B
- GPQA Diamond84,3%
- Humanity’s Last Examsin herramientas19,5%
- Codeforces2150
- MMLU-Pro85,2%
- Humanity’s Last Exam, with searchcon búsqueda web26,5%
- AIME 2026sin herramientas89,2%
- LiveCodeBench v680,0%
- MMMU-Pro76,9%
- τ²-benchmedia de 3 ejecuciones76,9%
Gemma 4 31B-it model card de GoogleConsultado el 30 de octubre de 2026
GPT-OSS 120B
- GPQA Diamondrazonamiento alto · sin herramientas80,1%
- Humanity’s Last Examrazonamiento alto · sin herramientas14,9%
- Humanity’s Last Exam, with toolsrazonamiento alto · con herramientas19,0%
- Codeforcesrazonamiento alto · sin herramientas2463
- MMLUrazonamiento alto90,0%
- SWE-bench Verifiedrazonamiento alto62,4%
- AIME 2025razonamiento alto · sin herramientas92,5%
- τ-bench Retailrazonamiento alto67,8%
gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 de OpenAIConsultado el 30 de octubre de 2026
Llama 3.3 70B
- GPQA Diamond0-shot · cadena de pensamiento50,5%
- MMLU-Pro5-shot · cadena de pensamiento68,9%
- MMLU0-shot · cadena de pensamiento86,0%
- HumanEval0-shot88,4%
- IFEval92,1%
- MATH0-shot · cadena de pensamiento77,0%
- MGSM0-shot91,1%
Llama 3.3 70B Instruct model card de MetaConsultado el 30 de octubre de 2026
Fuentes
- Kimi K3 model card de Moonshot AIConsultado el 30 de octubre de 2026
- GLM-5.3 model card de Z.aiConsultado el 30 de octubre de 2026
- DeepSeek-V4.1-Flash model card de DeepSeekConsultado el 30 de octubre de 2026
- Gemma 4 31B-it model card de GoogleConsultado el 30 de octubre de 2026
- gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 de OpenAIConsultado el 30 de octubre de 2026
- Llama 3.3 70B Instruct model card de MetaConsultado el 30 de octubre de 2026
Las puntuaciones se copian a mano de la ficha de cada editor cuando un modelo llega a Undergrove, y se revisan cuando la ficha cambia; la tarea semanal también comprueba que cada página citada aquí sigue respondiendo. Una puntuación que no podemos señalar en la página de un editor no aparece.