开放模型排行榜
在这里测量。
引自原始出处。
Undergrove 运行的开放权重模型并排比较：基准分数按发布方的报告列出，每项都链接到其出处页面；速度由我们自己每周测量。这里没有任何估算值。
各发布方报告的结果。
分数取自每个模型自己的模型卡，按原文照录。点按某项基准即可按其排序；短横线表示发布方没有报告该模型在这项基准上的分数，所以我们也不报告。
按 GPQA Diamond 排序，从高到低。
| 模型 | ||||||
|---|---|---|---|---|---|---|
| Kimi K3 | 93.5%最高 | 43.5%最高 · 不使用工具 | 56.0%最高 · 工具 | 88.3%最高 | 未报告 | 未报告 |
| DeepSeek V4.1 Flash | 90.9%最高 | 36.8%最高 · 不使用工具 | 63.9%最高 · 工具 | 90.6%最高 | 3,471最高 | 未报告 |
| Gemma 4 31B | 84.3% | 19.5%不使用工具 | 未报告 | 未报告 | 2,150 | 85.2% |
| GPT-OSS 120B | 80.1%高 · 不使用工具 | 14.9%高 · 不使用工具 | 19.0%高 · 工具 | 未报告 | 2,463高 · 不使用工具 | 未报告 |
| Llama 3.3 70B | 50.5%0-shot · CoT | 未报告 | 未报告 | 未报告 | 未报告 | 68.9%5-shot · CoT |
| GLM-5.3 | 未报告 | 未报告 | 62.5%工具 | 88.2% | 未报告 | 未报告 |
每个发布方都用自己的设置运行自己的测试：推理级别、工具、尝试次数，有时还有自己的测试框架。来自不同发布方、相差几分的两个分数并不能直接比较。我们没有自己重新运行这些基准测试。
速度，每周测量。
每周一次，一个脚本会通过我们的开发者 API 向每个模型发送同样的三个简短请求，使用工作区默认的推理设置，并记录第一个词出现所需的时间以及其余内容到达的速度。数据为中位数，并注明来自多少个回答。
尚未测量。
第一次每周测量还没有运行，因此这里没有速度数据。我们不会用估算值代替。在此之前，模型页面上每个模型的节奏只是根据其默认回答方式划分的类别，而不是测量结果。
所有分数，附带来源。
除上方各列外，我们从每张模型卡中照录的所有数据，以及发布方为每项数据说明的条件。
Kimi K3
- GPQA Diamond最高推理93.5%
- Humanity’s Last Exam (HLE-Full)最高推理 · 不使用工具43.5%
- Humanity’s Last Exam, with tools (HLE-Full)最高推理 · 使用工具56.0%
- Terminal-Bench 2.1最高推理88.3%
- BrowseComp最高推理91.2%
- OSWorld-Verified最高推理84.8%
- MMMU-Pro最高推理 · 不使用工具81.6%
Moonshot AI 的 Kimi K3 model card查阅于 2026年10月30日
GLM-5.3
- Humanity’s Last Exam, with tools使用工具62.5%
- Terminal-Bench 2.188.2%
- DeepSWE v1.166.9%
- CyberGym最高推理84.5%
- Toolathlon Verified73.0%
Z.ai 的 GLM-5.3 model card查阅于 2026年10月30日
DeepSeek V4.1 Flash
- GPQA Diamond最高推理90.9%
- Humanity’s Last Exam最高推理 · 不使用工具36.8%
- Humanity’s Last Exam, with tools最高推理 · 使用工具63.9%
- Terminal-Bench 2.1最高推理90.6%
- Codeforces最高推理3,471
- DeepSWE v1.1最高推理74.2%
- CyberGym最高推理88.1%
DeepSeek 的 DeepSeek-V4.1-Flash model card查阅于 2026年10月30日
Gemma 4 31B
- GPQA Diamond84.3%
- Humanity’s Last Exam不使用工具19.5%
- Codeforces2,150
- MMLU-Pro85.2%
- Humanity’s Last Exam, with search使用网页搜索26.5%
- AIME 2026不使用工具89.2%
- LiveCodeBench v680.0%
- MMMU-Pro76.9%
- τ²-bench3 次运行的平均值76.9%
Google 的 Gemma 4 31B-it model card查阅于 2026年10月30日
GPT-OSS 120B
- GPQA Diamond高推理 · 不使用工具80.1%
- Humanity’s Last Exam高推理 · 不使用工具14.9%
- Humanity’s Last Exam, with tools高推理 · 使用工具19.0%
- Codeforces高推理 · 不使用工具2,463
- MMLU高推理90.0%
- SWE-bench Verified高推理62.4%
- AIME 2025高推理 · 不使用工具92.5%
- τ-bench Retail高推理67.8%
OpenAI 的 gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3查阅于 2026年10月30日
Llama 3.3 70B
- GPQA Diamond0-shot · 思维链50.5%
- MMLU-Pro5-shot · 思维链68.9%
- MMLU0-shot · 思维链86.0%
- HumanEval0-shot88.4%
- IFEval92.1%
- MATH0-shot · 思维链77.0%
- MGSM0-shot91.1%
Meta 的 Llama 3.3 70B Instruct model card查阅于 2026年10月30日
来源
- Moonshot AI 的 Kimi K3 model card查阅于 2026年10月30日
- Z.ai 的 GLM-5.3 model card查阅于 2026年10月30日
- DeepSeek 的 DeepSeek-V4.1-Flash model card查阅于 2026年10月30日
- Google 的 Gemma 4 31B-it model card查阅于 2026年10月30日
- OpenAI 的 gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 3查阅于 2026年10月30日
- Meta 的 Llama 3.3 70B Instruct model card查阅于 2026年10月30日
每当有模型加入 Undergrove，我们都会从发布方的模型卡中手动照录分数，并在模型卡更新时重新核对；每周任务还会检查这里引用的每个页面是否仍可访问。无法在发布方页面上找到出处的分数不会列出。