国産LLMの日本語性能ランキング
要点
日本語平均の 1 位はGPT-OSS-Swallow-120B-RL-v0.1(0.600)。Swallow LLM リーダーボードが同じ評価の仕組み(swallow-evaluation-instruct v202604)で測った「日本語平均」の高い順に、当サイトに載っている国産モデルだけを並べました。点数は第三者(評価者)の公表値で、当サイトが測ったものではありません。
| 順位 | モデル | 日本語平均 | 英語平均 | 日本語 MT-Bench | 英語 MT-Bench | 開発元 | 出自 |
|---|---|---|---|---|---|---|---|
| 1 | GPT-OSS-Swallow-120B-RL-v0.1(評価者自身のモデル) | 0.600 | 0.782 | 0.772 | 0.803 | Swallow(東京科学大学・産総研) | 国内派生(既存モデルを改良) |
| 2 | GPT-OSS-Swallow-20B-RL-v0.1(評価者自身のモデル) | 0.568 | 0.752 | 0.726 | 0.769 | Swallow(東京科学大学・産総研) | 国内派生(既存モデルを改良) |
| 3 | Qwen3-Swallow-32B-RL-v0.2(評価者自身のモデル) | 0.555 | 0.763 | 0.753 | 0.780 | Swallow(東京科学大学・産総研) | 国内派生(既存モデルを改良) |
| 4 | Qwen3-Swallow-8B-RL-v0.2(評価者自身のモデル) | 0.510 | 0.668 | 0.710 | 0.736 | Swallow(東京科学大学・産総研) | 国内派生(既存モデルを改良) |
| 5 | llm-jp-4-32b-a3b-thinking | 0.471 | 0.578 | 0.726 | 0.759 | LLM-jp(国立情報学研究所) | 国内独自事前学習 |
| 6 | QwQ Bakeneko 32B | 0.470 | 0.646 | 0.683 | 0.767 | rinna株式会社 | 国内派生(既存モデルを改良) |
| 7 | llm-jp-4-8b-thinking | 0.448 | 0.532 | 0.706 | 0.743 | LLM-jp(国立情報学研究所) | 国内独自事前学習 |
| 8 | ELYZA-Thinking-1.0-Qwen-32B | 0.444 | 0.563 | 0.664 | 0.722 | 株式会社ELYZA | 国内派生(既存モデルを改良) |
| 9 | ELYZA-Shortcut-1.0-Qwen-32B | 0.443 | 0.520 | 0.675 | 0.755 | 株式会社ELYZA | 国内派生(既存モデルを改良) |
| 10 | Llama 3.3 Swallow 70B Instruct v0.4(評価者自身のモデル) | 0.420 | 0.441 | 0.634 | 0.714 | Swallow(東京科学大学・産総研) | 国内派生(既存モデルを改良) |
| 11 | Llama 3.1 Swallow 8B Instruct v0.5(評価者自身のモデル) | 0.341 | 0.302 | 0.565 | 0.617 | Swallow(東京科学大学・産総研) | 国内派生(既存モデルを改良) |
| 12 | Sarashina2.2-3B-instruct-v0.1 | 0.260 | 0.301 | 0.562 | 0.561 | SB Intuitions株式会社 | 国内独自事前学習 |
見るときの注意
- リーダーボード全体の順位ではありません。海外のモデル(GPT・Qwen など)を含む全体は出典のページで見られます。
- 点数の 3 桁目は、実行環境で変わることがあり再現の保証が難しいと評価者が説明しています。僅差は同じくらいと見てください。
- 推論型のモデルは確率的な生成(temperature 0.6)、それ以外は主に決まった生成で測っています(評価者の説明)。
- Swallow のモデルは評価者自身のモデルです(開発元による測定)。
- 点数が高いことは、あらゆる用途で優れていることを意味しません。用途に近い課題の点数(出典のページの課題別)も確かめてください。
点数は出典の総合の表に出ている値(0〜1)をそのまま写しています。当サイトに載っていない国産モデルや、リーダーボードで測られていないモデルは表にありません(測られていないことは 0 点ではありません)。
出典
Swallow LLM リーダーボード(事後学習モデル)(Swallow LLM チーム(Swallow プロジェクト)・CC BY 4.0)。 評価の方法はリーダーボードの説明。 当サイトでは国産モデルの行だけを抜き出し、順位を付け直しています。比べ方の決まりは評価の方法をご覧ください。