新規登録

オープンモデルのリーダーボード

計測はここで。
出典は外部に。

Undergrove で動くオープンウェイトモデルを並べて比較します。ベンチマークのスコアは提供元の公表どおりに、それぞれ出典ページへのリンク付きで。速度は私たちが毎週自分で計測します。推定値は一つもありません。

01 / 公表スコア

各提供元が公表している値。

各モデルのモデルカードに記載されたとおりのスコアです。ベンチマーク名を押すとその順に並びます。ダッシュは、提供元がそのモデルについてそのベンチマークを公表していないため、こちらでも載せていないことを示します。

GPQA Diamond の高い順に並べています。

モデル
Kimi K393.5%最大43.5%最大 · ツールなし56.0%最大 · ツール88.3%最大公表なし公表なし
DeepSeek V4.1 Flash90.9%最大36.8%最大 · ツールなし63.9%最大 · ツール90.6%最大3,471最大公表なし
Gemma 4 31B84.3%19.5%ツールなし公表なし公表なし2,15085.2%
GPT-OSS 120B80.1%高 · ツールなし14.9%高 · ツールなし19.0%高 · ツール公表なし2,463高 · ツールなし公表なし
Llama 3.3 70B50.5%0-shot · CoT公表なし公表なし公表なし公表なし68.9%5-shot · CoT
GLM-5.3公表なし公表なし62.5%ツール88.2%公表なし公表なし

各提供元は、推論レベル、ツール、試行回数、ときには独自の評価環境など、それぞれの設定で独自にテストしています。提供元が異なる 2 つのスコアが数ポイント差でも、同じ条件での比較ではありません。これらのベンチマークを私たち自身で再実行してはいません。

02 / Undergrove での計測

速度は毎週計測。

週に 1 回、スクリプトが開発者向け API を通じて、ワークスペースの既定の推論設定で、各モデルに同じ 3 つの短いリクエストを送り、最初の語が届くまでの時間と、残りが届く速さを記録します。数値は中央値で、元になった回答の数も示します。

まだ計測していません。

最初の週次計測がまだ実行されていないため、ここに速度の数値はありません。代わりに推定値を載せることもしません。それまでは、モデルページにある各モデルのペースは、既定の回答の仕方による分類であり、計測値ではありません。

03 / すべてのスコア

すべてのスコアを出典付きで。

上の列以外も含め、各モデルカードから転記したすべての数値と、提供元がそれぞれに記載している条件です。

Kimi K3

  • GPQA Diamond推論：最大93.5%
  • Humanity’s Last Exam (HLE-Full)推論：最大 · ツールなし43.5%
  • Humanity’s Last Exam, with tools (HLE-Full)推論：最大 · ツールあり56.0%
  • Terminal-Bench 2.1推論：最大88.3%
  • BrowseComp推論：最大91.2%
  • OSWorld-Verified推論：最大84.8%
  • MMMU-Pro推論：最大 · ツールなし81.6%

Moonshot AI の Kimi K3 model card2026年10月30日 に参照

GLM-5.3

  • Humanity’s Last Exam, with toolsツールあり62.5%
  • Terminal-Bench 2.188.2%
  • DeepSWE v1.166.9%
  • CyberGym推論：最大84.5%
  • Toolathlon Verified73.0%

Z.ai の GLM-5.3 model card2026年10月30日 に参照

DeepSeek V4.1 Flash

  • GPQA Diamond推論：最大90.9%
  • Humanity’s Last Exam推論：最大 · ツールなし36.8%
  • Humanity’s Last Exam, with tools推論：最大 · ツールあり63.9%
  • Terminal-Bench 2.1推論：最大90.6%
  • Codeforces推論：最大3,471
  • DeepSWE v1.1推論：最大74.2%
  • CyberGym推論：最大88.1%

DeepSeek の DeepSeek-V4.1-Flash model card2026年10月30日 に参照

Gemma 4 31B

  • GPQA Diamond84.3%
  • Humanity’s Last Examツールなし19.5%
  • Codeforces2,150
  • MMLU-Pro85.2%
  • Humanity’s Last Exam, with searchウェブ検索あり26.5%
  • AIME 2026ツールなし89.2%
  • LiveCodeBench v680.0%
  • MMMU-Pro76.9%
  • τ²-bench3 回の平均76.9%

Google の Gemma 4 31B-it model card2026年10月30日 に参照

GPT-OSS 120B

  • GPQA Diamond推論：高 · ツールなし80.1%
  • Humanity’s Last Exam推論：高 · ツールなし14.9%
  • Humanity’s Last Exam, with tools推論：高 · ツールあり19.0%
  • Codeforces推論：高 · ツールなし2,463
  • MMLU推論：高90.0%
  • SWE-bench Verified推論：高62.4%
  • AIME 2025推論：高 · ツールなし92.5%
  • τ-bench Retail推論：高67.8%

OpenAI の gpt-oss-120b & gpt-oss-20b model card (arXiv 2508.10925), table 32026年10月30日 に参照

Llama 3.3 70B

  • GPQA Diamond0-shot · 思考の連鎖50.5%
  • MMLU-Pro5-shot · 思考の連鎖68.9%
  • MMLU0-shot · 思考の連鎖86.0%
  • HumanEval0-shot88.4%
  • IFEval92.1%
  • MATH0-shot · 思考の連鎖77.0%
  • MGSM0-shot91.1%

Meta の Llama 3.3 70B Instruct model card2026年10月30日 に参照

出典

スコアは、モデルが Undergrove に加わったときに各提供元のモデルカードから手作業で転記し、カードが更新されたときに再確認します。週次ジョブでは、ここで引用しているすべてのページが今も応答するかも確認します。提供元のページで示せないスコアは載せていません。

料金と機能を比較ワークスペースで試す