比較・評価の方法

同じベンチマーク名でも、評価データの版、指標、プロンプト、shot数、推論設定、採点の実装が違えば数値は比較できません。 このサイトでは、以下の条件がすべて一致することを確認できた結果だけを同じ順位表に並べます。

• suite
• suite_version
• dataset
• dataset_revision
• subset
• metric
• metric_unit
• higher_is_better
• evaluator_revision
• prompt_hash
• shots
• temperature
• top_p
• max_new_tokens
• reasoning_mode
• scoring_policy
• inference_backend
• artifact_revision

表示のルール

• 条件が1つでも欠けている・異なる結果は「参考値」として別の欄に表示し、順位を付けません。
• 未測定のモデルは0点・最下位として扱わず「未測定」と表示します。
• 開発元公表・第三者測定・サイト独自測定は区別して表示します。現時点でサイト独自の測定は行っていません。
• 用途の異なるモデル（例: 文章生成と埋め込み）を同じ順位表に並べません。「国産AI総合スコア」のような合成指標は作りません。
• 評価フレームワークのバージョンが違う結果（例: llm-jp-eval 2.0 と 2.1）は別グループです。