RANKING DE MODELOS ABERTOS
Medido aqui.
Com fontes externas.
Os modelos de pesos abertos que o Undergrove roda, lado a lado: pontuações de benchmarks como os publicadores as informam, cada uma com link para a página de origem, e a velocidade que nós mesmos medimos toda semana. Nada aqui é estimado.
O que cada publicador informa.
Pontuações tiradas do model card de cada modelo, tal como aparecem lá. Clique em um benchmark para classificar por ele; um traço significa que o publicador não informa esse benchmark para esse modelo, então nós também não.
Classificado por GPQA Diamond, do maior para o menor.
| Modelo | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93,5%máx. | 43,5%máx. · sem ferramentas | 56,0%máx. · ferramentas | 88,3%máx. | Não informado | Não informado |
| DeepSeek V4.1 Flash | 90,9%máx. | 36,8%máx. · sem ferramentas | 63,9%máx. · ferramentas | 90,6%máx. | 3.471máx. | Não informado |
| Gemma 4 31B | 84,3% | 19,5%sem ferramentas | Não informado | Não informado | 2.150 | 85,2% |
| GPT-OSS 120B | 80,1%alto · sem ferramentas | 14,9%alto · sem ferramentas | 19,0%alto · ferramentas | Não informado | 2.463alto · sem ferramentas | Não informado |
| Llama 3.3 70B | 50,5%0-shot · CoT | Não informado | Não informado | Não informado | Não informado | 68,9%5-shot · CoT |
| GLM-5.3 | Não informado | Não informado | 62,5%ferramentas | 88,2% | Não informado | Não informado |
Cada publicador roda os próprios testes com as próprias configurações: nível de raciocínio, ferramentas, número de tentativas e, às vezes, o próprio ambiente de avaliação. Duas pontuações de publicadores diferentes separadas por poucos pontos não são uma comparação equivalente. Não rodamos esses benchmarks de novo por conta própria.
Velocidade, medida toda semana.
Uma vez por semana, um script envia a cada modelo as mesmas três solicitações curtas pela nossa API para desenvolvedores, com a configuração de raciocínio que o espaço de trabalho usa por padrão, e registra quanto tempo leva a primeira palavra e a que velocidade chega o restante. Os números são medianas, com a quantidade de respostas de onde vêm.
Ainda não medido.
A primeira medição semanal ainda não foi feita, então não há números de velocidade aqui. Não vamos mostrar uma estimativa no lugar deles. Até lá, o ritmo de cada modelo na página de modelos é uma categoria baseada em como ele responde por padrão, não uma medição.
Cada pontuação, com a fonte.
Todos os números que copiamos de cada model card, além das colunas acima, e as condições que o publicador informa para cada um.
Kimi K3
- GPQA Diamondraciocínio máximo93,5%
- Humanity’s Last Exam (HLE-Full)raciocínio máximo · sem ferramentas43,5%
- Humanity’s Last Exam, with tools (HLE-Full)raciocínio máximo · com ferramentas56,0%
- Terminal-Bench 2.1raciocínio máximo88,3%
- BrowseCompraciocínio máximo91,2%
- OSWorld-Verifiedraciocínio máximo84,8%
- MMMU-Proraciocínio máximo · sem ferramentas81,6%
Kimi K3 model card de Moonshot AIConsultado em 30 de outubro de 2026
GLM-5.3
- Humanity’s Last Exam, with toolscom ferramentas62,5%
- Terminal-Bench 2.188,2%
- DeepSWE v1.166,9%
- CyberGymraciocínio máximo84,5%
- Toolathlon Verified73,0%
GLM-5.3 model card de Z.aiConsultado em 30 de outubro de 2026
DeepSeek V4.1 Flash
- GPQA Diamondraciocínio máximo90,9%
- Humanity’s Last Examraciocínio máximo · sem ferramentas36,8%
- Humanity’s Last Exam, with toolsraciocínio máximo · com ferramentas63,9%
- Terminal-Bench 2.1raciocínio máximo90,6%
- Codeforcesraciocínio máximo3.471
- DeepSWE v1.1raciocínio máximo74,2%
- CyberGymraciocínio máximo88,1%
DeepSeek-V4.1-Flash model card de DeepSeekConsultado em 30 de outubro de 2026
Gemma 4 31B
- GPQA Diamond84,3%
- Humanity’s Last Examsem ferramentas19,5%
- Codeforces2.150
- MMLU-Pro85,2%
- Humanity’s Last Exam, with searchcom pesquisa na web26,5%
- AIME 2026sem ferramentas89,2%
- LiveCodeBench v680,0%
- MMMU-Pro76,9%
- τ²-benchmédia de 3 execuções76,9%
Gemma 4 31B-it model card de GoogleConsultado em 30 de outubro de 2026
GPT-OSS 120B
- GPQA Diamondraciocínio alto · sem ferramentas80,1%
- Humanity’s Last Examraciocínio alto · sem ferramentas14,9%
- Humanity’s Last Exam, with toolsraciocínio alto · com ferramentas19,0%
- Codeforcesraciocínio alto · sem ferramentas2.463
- MMLUraciocínio alto90,0%
- SWE-bench Verifiedraciocínio alto62,4%
- AIME 2025raciocínio alto · sem ferramentas92,5%
- τ-bench Retailraciocínio alto67,8%
gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 de OpenAIConsultado em 30 de outubro de 2026
Llama 3.3 70B
- GPQA Diamond0-shot · cadeia de pensamento50,5%
- MMLU-Pro5-shot · cadeia de pensamento68,9%
- MMLU0-shot · cadeia de pensamento86,0%
- HumanEval0-shot88,4%
- IFEval92,1%
- MATH0-shot · cadeia de pensamento77,0%
- MGSM0-shot91,1%
Llama 3.3 70B Instruct model card de MetaConsultado em 30 de outubro de 2026
Fontes
- Kimi K3 model card de Moonshot AIConsultado em 30 de outubro de 2026
- GLM-5.3 model card de Z.aiConsultado em 30 de outubro de 2026
- DeepSeek-V4.1-Flash model card de DeepSeekConsultado em 30 de outubro de 2026
- Gemma 4 31B-it model card de GoogleConsultado em 30 de outubro de 2026
- gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3 de OpenAIConsultado em 30 de outubro de 2026
- Llama 3.3 70B Instruct model card de MetaConsultado em 30 de outubro de 2026
As pontuações são copiadas à mão do model card de cada publicador quando um modelo entra no Undergrove e conferidas de novo quando o card muda; a tarefa semanal também verifica se cada página citada aqui ainda responde. Uma pontuação que não conseguimos apontar na página de um publicador não é listada.