はじめに:リーダーボードの数字を信じて大丈夫か?
AIモデルの性能比較といえば、MMLU(大規模マルチタスク言語理解)やARC(推論チャレンジ)といった多肢選択ベンチマークのスコアを見るのが半ば常識になっている。Hugging FaceのOpen LLM Leaderboardをはじめ、多くのリーダーボードがこれらの数値でモデルをランキングし、開発者や企業のモデル選定に影響を与えている。しかし、その数字は本当に「モデルの実力」を正しく反映しているのだろうか。
実は、同じモデル、まったく同じ設問を使ったとしても、「評価の実行方法(ハーネス)」のわずかな違いでスコアが大きく変動することが知られてきた。従来の研究では、この問題は「集計スコアの分散」として報告されるに留まっており、どの設問がどれだけ影響を受けているかはブラックボックスのままであった。
本稿で紹介する研究(Parupudi, 2026)は、ハーネスの設定を独立変数として扱い、設問単位での影響を初めて体系的に分解した点で決定的に異なる。12のオープンウェイト命令チューニング済みLLMに対し、3,679問の設問を26通りの「同