오픈 모델 순위표
여기서 측정하고.
출처는 밝히고.
Undergrove가 실행하는 오픈 웨이트 모델을 나란히 비교합니다. 벤치마크 점수는 개발사가 보고한 그대로 각 출처 페이지에 연결해 표시하며, 속도는 저희가 매주 직접 측정합니다. 여기 있는 어떤 수치도 추정치가 아닙니다.
각 개발사가 보고한 수치.
각 모델의 모델 카드에 적힌 점수를 그대로 옮겼습니다. 벤치마크를 누르면 그 기준으로 순위를 매깁니다. 대시는 개발사가 해당 모델의 그 벤치마크를 보고하지 않았다는 뜻이며, 따라서 저희도 표시하지 않습니다.
GPQA Diamond 기준 순위, 높은 순.
| 모델 | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93.5%최대 | 43.5%최대 · 도구 미사용 | 56.0%최대 · 도구 | 88.3%최대 | 보고되지 않음 | 보고되지 않음 |
| DeepSeek V4.1 Flash | 90.9%최대 | 36.8%최대 · 도구 미사용 | 63.9%최대 · 도구 | 90.6%최대 | 3,471최대 | 보고되지 않음 |
| Gemma 4 31B | 84.3% | 19.5%도구 미사용 | 보고되지 않음 | 보고되지 않음 | 2,150 | 85.2% |
| GPT-OSS 120B | 80.1%높음 · 도구 미사용 | 14.9%높음 · 도구 미사용 | 19.0%높음 · 도구 | 보고되지 않음 | 2,463높음 · 도구 미사용 | 보고되지 않음 |
| Llama 3.3 70B | 50.5%0-shot · CoT | 보고되지 않음 | 보고되지 않음 | 보고되지 않음 | 보고되지 않음 | 68.9%5-shot · CoT |
| GLM-5.3 | 보고되지 않음 | 보고되지 않음 | 62.5%도구 | 88.2% | 보고되지 않음 | 보고되지 않음 |
각 개발사는 추론 수준, 도구, 시도 횟수, 때로는 자체 평가 환경까지 각자의 설정으로 테스트합니다. 서로 다른 개발사의 점수가 몇 점 차이 난다고 해서 동일한 조건의 비교는 아닙니다. 저희는 이 벤치마크를 직접 다시 실행하지 않았습니다.
매주 측정하는 속도.
매주 한 번 스크립트가 워크스페이스의 기본 추론 설정으로 개발자 API를 통해 각 모델에 같은 짧은 요청 세 개를 보내고, 첫 단어까지 걸리는 시간과 나머지가 도착하는 속도를 기록합니다. 수치는 중앙값이며, 바탕이 된 답변 수를 함께 표시합니다.
아직 측정되지 않았습니다.
첫 주간 측정이 아직 실행되지 않아 여기에는 속도 수치가 없습니다. 그 대신 추정치를 보여 드리지는 않습니다. 그때까지 모델 페이지에 표시된 각 모델의 속도는 기본 답변 방식에 따른 분류이며, 측정값이 아닙니다.
모든 점수와 출처.
위 열 외에 각 모델 카드에서 옮겨 온 모든 수치와, 개발사가 각 수치에 대해 밝힌 조건.
Kimi K3
- GPQA Diamond최대 추론93.5%
- Humanity’s Last Exam (HLE-Full)최대 추론 · 도구 미사용43.5%
- Humanity’s Last Exam, with tools (HLE-Full)최대 추론 · 도구 사용56.0%
- Terminal-Bench 2.1최대 추론88.3%
- BrowseComp최대 추론91.2%
- OSWorld-Verified최대 추론84.8%
- MMMU-Pro최대 추론 · 도구 미사용81.6%
Moonshot AI의 Kimi K3 model card2026년 10월 30일 확인
GLM-5.3
- Humanity’s Last Exam, with tools도구 사용62.5%
- Terminal-Bench 2.188.2%
- DeepSWE v1.166.9%
- CyberGym최대 추론84.5%
- Toolathlon Verified73.0%
Z.ai의 GLM-5.3 model card2026년 10월 30일 확인
DeepSeek V4.1 Flash
- GPQA Diamond최대 추론90.9%
- Humanity’s Last Exam최대 추론 · 도구 미사용36.8%
- Humanity’s Last Exam, with tools최대 추론 · 도구 사용63.9%
- Terminal-Bench 2.1최대 추론90.6%
- Codeforces최대 추론3,471
- DeepSWE v1.1최대 추론74.2%
- CyberGym최대 추론88.1%
DeepSeek의 DeepSeek-V4.1-Flash model card2026년 10월 30일 확인
Gemma 4 31B
- GPQA Diamond84.3%
- Humanity’s Last Exam도구 미사용19.5%
- Codeforces2,150
- MMLU-Pro85.2%
- Humanity’s Last Exam, with search웹 검색 사용26.5%
- AIME 2026도구 미사용89.2%
- LiveCodeBench v680.0%
- MMMU-Pro76.9%
- τ²-bench3회 실행 평균76.9%
Google의 Gemma 4 31B-it model card2026년 10월 30일 확인
GPT-OSS 120B
- GPQA Diamond높은 추론 · 도구 미사용80.1%
- Humanity’s Last Exam높은 추론 · 도구 미사용14.9%
- Humanity’s Last Exam, with tools높은 추론 · 도구 사용19.0%
- Codeforces높은 추론 · 도구 미사용2,463
- MMLU높은 추론90.0%
- SWE-bench Verified높은 추론62.4%
- AIME 2025높은 추론 · 도구 미사용92.5%
- τ-bench Retail높은 추론67.8%
OpenAI의 gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 32026년 10월 30일 확인
Llama 3.3 70B
- GPQA Diamond0-shot · 사고의 사슬(CoT)50.5%
- MMLU-Pro5-shot · 사고의 사슬(CoT)68.9%
- MMLU0-shot · 사고의 사슬(CoT)86.0%
- HumanEval0-shot88.4%
- IFEval92.1%
- MATH0-shot · 사고의 사슬(CoT)77.0%
- MGSM0-shot91.1%
Meta의 Llama 3.3 70B Instruct model card2026년 10월 30일 확인
출처
- Moonshot AI의 Kimi K3 model card2026년 10월 30일 확인
- Z.ai의 GLM-5.3 model card2026년 10월 30일 확인
- DeepSeek의 DeepSeek-V4.1-Flash model card2026년 10월 30일 확인
- Google의 Gemma 4 31B-it model card2026년 10월 30일 확인
- OpenAI의 gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 32026년 10월 30일 확인
- Meta의 Llama 3.3 70B Instruct model card2026년 10월 30일 확인
점수는 모델이 Undergrove에 추가될 때 각 개발사의 모델 카드에서 직접 옮기며, 카드가 바뀌면 다시 확인합니다. 주간 작업은 여기서 인용한 모든 페이지가 여전히 응답하는지도 확인합니다. 개발사 페이지에서 근거를 제시할 수 없는 점수는 싣지 않습니다.