AI・テクノロジー

「ニュートラルな評価ハーネス」は存在しない——LLMリーダーボードは「設定にもろい設問」によって作られている

docker agent

• 15 min read
Share

はじめに：リーダーボードの数字を信じて大丈夫か？

AIモデルの性能比較といえば、MMLU（大規模マルチタスク言語理解）やARC（推論チャレンジ）といった多肢選択ベンチマークのスコアを見るのが半ば常識になっている。Hugging FaceのOpen LLM Leaderboardをはじめ、多くのリーダーボードがこれらの数値でモデルをランキングし、開発者や企業のモデル選定に影響を与えている。しかし、その数字は本当に「モデルの実力」を正しく反映しているのだろうか。

実は、同じモデル、まったく同じ設問を使ったとしても、「評価の実行方法（ハーネス）」のわずかな違いでスコアが大きく変動することが知られてきた。従来の研究では、この問題は「集計スコアの分散」として報告されるに留まっており、どの設問がどれだけ影響を受けているかはブラックボックスのままであった。

本稿で紹介する研究（Parupudi, 2026）は、ハーネスの設定を独立変数として扱い、設問単位での影響を初めて体系的に分解した点で決定的に異なる。12のオープンウェイト命令チューニング済みLLMに対し、3,679問の設問を26通りの「同等に妥当な」ハーネス設定で評価し、正解がどのように変化するかを3次元テンソルとして分析した。

結果は衝撃的である。gemma4-31bというモデルは、同じ重み・同じ設問でありながら、ハーネスの選択だけで正解率が31%から89%へと58ポイントも変動した。隣接するモデル同士の順位差の95.7%は、設定によって正解が反転する「もろい設問（config-fragile items）」によって生まれていた。さらに、12モデル中4モデルが、ハーネスの設定次第で1位を獲得した。

これらの発見が示唆するのは、リーダーボードの順位がモデルの実力差ではなく、ハーネスの選択によって「作られている」可能性が極めて高いということだ。「ニュートラルな評価ハーネス」は存在しない——評価は常に選択であり、その選択は結果に影響する。本稿では、この研究成果を基に、リーダーボードの正しい読み方と作り方を考えていく。

評価ハーネス（Harness）とは何か——3つの自由パラメータ

LLMの多肢選択ベンチマークにおいて、「評価ハーネス」とはモデルに問題を提示し、回答を収集し、正誤を判定する一連の実行手順を指す。問題文（設問）と正解ラベルは固定されているにもかかわらず、ハーネスの構成要素には複数の「同等に妥当な」選択肢が存在する。先行研究ではこの選択が集計スコアに分散をもたらすことが知られていたが、本稿で紹介する研究（arXiv: 2608.21382）は、ハーネスを独立変数として初めて系統的に扱い、設問単位での影響を分解した。

ハーネスを構成する自由パラメータは、以下の3軸に整理される。

1. 選択肢の順序（Option Order）
選択肢A・B・C・Dをどの順序でモデルに提示するか。アルファベット順、数字順、データセットオリジナルの順など、複数の並べ方が可能である。モデルは「最初の選択肢を選びやすい」などの位置バイアスを持つことが知られており、並べ替えだけで正解率が変動する。

2. プロンプトの形式（Prompt Format）
各選択肢のラベル表記（「A.」「(A)」「1.」など）や、「Answer:」「The correct answer is:」といった指示文の文言をどう書くか。この違いは一見些細に見えるが、モデルの内部表現と合致するかどうかで出力確率が変化する。

3. スコアリング方法（Scoring Method）
モデルの回答から正解を判定する手法。大別して（a）モデルに回答テキストを生成させ、パースして正解ラベルと照合する「生成ベース」と、（b）各選択肢のトークン尤度（確率）を計算し、最も高いものを選ぶ「尤度ベース」がある。Gao et al.（2023）のlm-evaluation-harnessがデフォルトで尤度パスを採用するなど、実装によって方法は統一されていない。

これらの3軸は直交しており、選択肢順序×プロンプト形式×スコアリング方法の組み合わせ数だけ「同等に妥当な」評価設定が存在する。研究では、実際に公開評価コードで使われている設定のみを26通り収集している。重要なのは、どの選択も「間違っていない」——すなわち、すべて現実のリーダーボード運用で採用されているという点である。ハーネスの選択は評価結果に本質的な影響を与えるが、その影響はこれまで軽視されてきた。

フラジリティ・グリッド（Fragility Grid）——研究の手法

従来の研究がハーネス感度を「集計スコアの分散」として報告していたのに対し、本研究では設問単位で影響を分解する「フラジリティ・グリッド」という分析手法を導入した。その骨子は、モデル・設問・ハーネス設定の3軸から成る3次元テンソルを構築し、どの設問がどの設定で正解／不正解になるかを1ビット単位で記録する点にある。

実験には12のオープンウェイト命令チューニング済みLLMを用いた。Qwen3（7B・14B）、Llama3（8B・70B）、Gemma4（9B・31B）、Mixtral（8x7B・8x22B）の4ファミリーに加え、Qwen2.5（7B・14B・72B）とLlama3.1（8B）を合わせた計12モデルで、パラメータ規模は3B〜70Bにわたる。評価には4つの多肢選択ベンチマーク——ARC（科学問題）、HellaSwag（文完成）、MMLU（57科目）、TruthfulQA（誤情報耐性）——から抽出した3,679問を固定して使用した。各設問に対して、26通りの「同等に妥当な」ハーネス設定を適用し、全モデル×全設問×全設定の組み合わせを網羅的に評価している。

ここで重要なのは、すべての比較がマッチドである点だ。設問そのもの、モデルの重み、デコーディング方式（greedy、temperature 0）は完全に固定し、変化させたのはハーネス設定のみである。ハーネスの3つの自由パラメータ——選択肢の順序（6通り）、プロンプトのラベル形式（4通り）、スコアリング方法（3通り）——を組み合わせ、かつ設定の一部は実際の公開評価コードから直接取得している。つまり、「対抗的（adversarial）」な設定は1つも含まれておらず、すべて「研究者が弁護できる」設定である。この実験デザインにより、得られたスコア変動は純粋にハーネスの違いだけに起因する。

結果として得られるのは、モデル（12）×設問（3,679）×設定（26）の3次元テンソルであり、各要素は正解なら1、不正解なら0のビット値を持つ。このテンソルを軸ごとに集計・分解することで、どの設問がハーネスに「もろい（config-fragile）」のか、どの軸が最も正解を破壊するのか、どのモデルが設定変更に耐性を持つのかを定量的に分析できる。

コードとデータはMITライセンスで公開されており、全48ファイルのJSONL形式レコードと分析スクリプトがGitHub（NikolaTesla-007/fragility-grid）から入手可能である。CPUのみで約10秒で全数値が再現できる設計になっており、検証可能性を重視した点も特徴の一つである。

発見1：モデルのスコアは「点」ではなく「帯」である

リーダーボードは各モデルに1つの数字（正解率）を割り当てる。しかし、フラジリティ・グリッドの最も重要な発見は、この数字が「点」ではなく「帯」であることだ。研究では、全26設定で一貫して正解した割合をロバスト正解率、いずれか1設定でも正解した割合を楽観的正解率と定義し、両者の差を定量化した。

その差は驚くべきものだった。gemma4-31bでは同じ重み・同じ設問でありながら、ロバスト正解率が31%であるのに対し、楽観的正解率は89%に達した。ハーネスの選択だけで58ポイントもの開きが生じている。つまり、このモデルが「89%正解できる」とリーダーボードに表示されていても、それは「ある特定の設定でたまたま正解できた設問」をすべてカウントした結果に過ぎない。

全12モデルの平均で見ると、クレジットされた回答の85%は「設定が変われば間違いに変わる」条件付きのものだった。モデルが確信を持って正解できる設問はごくわずかであり、残りの大部分は評価設定の選択によって正解・不正解が左右される「もろい設問」なのである。ロバスト正解率は最大でも21.5%（gemma4-31b）にとどまり、5モデルでは7%未満だった。

さらに重要なのは、この感度の大きさがモデルの能力と無関係であることだ。最も変動幅が大きかったのは、全モデル中トップの性能を示したgemma4-31bだった。強いモデルほど「もろい設問」に敏感であるという逆説的な事実は、リーダーボードの順位がモデルの実力差ではなく、ハーネスの選択によって「作られている」可能性を強く示唆する。

発見2：順位は「両モデルが安定して答える設問」では決まらない

従来のリーダーボードは、2つのモデルを比較する際、すべての設問を均等に扱いスコアの差分を計算する。しかし、本研究では「隣接するモデルペア」（リーダーボード上で前後の順位にある2モデル）の差を、両モデルが26設定すべてで安定して正解または不正解できる設問（ロバスト設問）と、設定によって正解が反転する設問（config-fragileな設問）に分解した。この分解により、順位差が本当に「モデルの実力差」を反映しているのか、それとも「ハーネス設定への感度の差」を反映しているのかを検証できる。

結果は明確だった。11の隣接モデルペアのうち、5ペアはロバスト設問上で完全に一致（1問のズレもない）。4ペアはロバスト設問上でわずか1問だけ異なる。残る2ペアは両方向にズレが相殺され、ネットでゼロとなる。つまり、ロバスト設問だけに注目すれば、すべての隣接ペアは実質的に「同点」なのである。

さらに、何らかの差異が存在する10ペアの平均を取ると、差全体の95.7%がconfig-fragileな設問によって生まれていた。言い換えれば、リーダーボード上の順位差は、両モデルが確信を持てない（設定によって正解が変わる）設問によって生み出されている。両モデルが安定して正解できる設問は、順位の決定にほとんど寄与していない。

この現象が示唆するのは、リーダーボードで上位のモデルと下位のモデルの差が「どちらかがより多くを正しく知っている」からではなく、「どちらが特定のハーネス設定に対してより都合よく反応するか」という偶発的な要因で決まっている可能性である。たとえば、モデルAがラベル形式「A.」に強く反応し、モデルBが形式「1.」に強く反応する場合、評価者がラベル形式をどちらに設定するかだけで順位が入れ替わる。実際、本研究では設定変更によりmixtral-8x7bがリファレンス設定で11位だったにもかかわらず、別の設定で1位に躍進する事例も確認されている。

この発見は、単一のスコアでモデルをランク付けする既存のリーダーボードの方法論に根本的な疑問を投げかける。順位は「モデルの実力差」ではなく「ハーネス設定への感度の差」を強く反映しており、両モデルが安定して答えられるロバスト設問のみを比較対象とすべきだという示唆を与えている。

発見3：ハーネスを選ぶことは「勝者」を選ぶことである

リーダーボードの順位を決めているのがconfig-fragileな設問であるなら、次の問いが浮かぶだろう——「では、評価ハーネスを変えるだけでチャンピオンは変わるのか？」。この問いに対する答えは「Yes」である。本研究では、12モデル中4モデル（全体の3分の1）が、使用するハーネス設定によってトップの座を獲得している。

最も顕著なのがgemma4-31bだ。このモデルは26通りの設定中16設定で1位を達成しており、そのマージン（中央値）は3,679問中181.5問にのぼる。次いでqwen3-14bが8設定で1位となり、こちらは中央値98.5問のマージンで他モデルを引き離す。特筆すべきは、llama3.3-70bとmixtral-8x7bの事例である。前者はわずか1設定で1位となり、そのマージンはたった1問。後者は1設定で1位（マージン3問）を獲得したが、リファレンス設定（論文の参照基準となる設定）では11位だったモデルである。設定変更によって最下位級からトップに躍り出たことになる。

この現象は、たとえば回答肢のラベル表記を「A.」から「1.」に変更するだけでも発生する。同じ質問文、同じ選択肢の並び順でも、ラベル記号の違いが各モデルの応答確率に異なる影響を与え、勝者を完全に入れ替えてしまう。さらに、12モデル中8モデル（約67%）が、いずれかの設定でトップ3以内に入る。つまり、大半のモデルが「設定を選べば表彰台に立てる」状態にある。

この不安定性を統計的に示す指標として、ケンドールの順位相関係数がある。設定間の平均値は0.42と中程度の相関にとどまり、最小値は−0.09にまで達する。これは、ある設定での順位が別の設定ではほぼ無相関、場合によっては逆転することを意味する。リーダーボードの公表値が「一つの数字」として提示される現状を考えると、この発見は衝撃的である。

以上の結果は、「ニュートラルなハーネス」が存在しないことを如実に示している。評価者は無意識のうちに、あるモデルを有利にする設定を選び、別のモデルを不利にする設定を選んでいる可能性がある。リーダーボードの順位は、モデルの実力ランキングである前に、ハーネス設定に対する各モデルの「相性ランキング」なのである。

発見4：ベンチマーク圧縮は「もろい設問」をむしろ残す

LLM評価のコスト削減を目的として、項目反応理論（IRT）に基づくベンチマーク圧縮が注目されている。これは、モデル間の性能差を最もよく識別できる設問（項目弁別力の高い設問）を優先的に残し、元のデータセットを数百問単位にまで削減する手法である。しかし、フラジリティ・グリッドを用いた分析は、この圧縮がむしろ問題を悪化させることを明らかにした。

項目弁別力とconfig-fragility（ハーネス設定の変更によって正解が反転する確率）の相関係数は0.28（95%信頼区間0.25〜0.30）であり、弱いながらも有意な正の相関を示す。つまり、圧縮アルゴリズムが「良い設問」として選び出したものほど、ハーネスに対して脆弱であるという逆説が成り立つ。具体的には、最も弁別力の高い上位100問の平均fragilityは0.96に達するのに対し、全3,679問の全体平均は0.85である。圧縮は「もろくない設問」を削り、「もろい設問」を濃縮する方向に作用する。

この影響はリーダーボードの安定性に直接現れる。フルセット（3,679問）では4モデルだったチャンピオン数（いずれかの設定で1位を達成するモデルの数）が、圧縮後は平均5.7に増加する。データセットが小さくなるほど、少数のもろい設問の正解が順位全体を支配しやすくなるためである。安価なリーダーボードは不安定なリーダーボードである——この逆説は、圧縮ベンチマークを導入する際には、設定に対する安定性の検証が必須であることを示している。

発見5：スコアリング方法が「主犯」である

3つのハーネス軸（選択肢順序・プロンプト形式・スコアリング方法）のうち、どの設定が最も正解を不安定にするのか。フラジリティ・グリッドでは、軸ごとに設定を固定し、残りの軸を変化させたときの正解維持率（軸別ロバスト正解率）を比較した。

結果は明確な序列を示した。選択肢順序を変えても60%の正解が維持される。プロンプト形式を変えると維持率は40%に低下する。そしてスコアリング方法（生成ベース vs 尤度ベース）を変えた場合、わずか31%しか正解が維持されない。12モデル中9モデルで、スコアリング方法が最大の破壊要因であった。

この結果の逆説的な点は、スコアリング方法のバリエーション数にある。選択肢順序は6通り、プロンプト形式は4通りであるのに対し、スコアリング方法は「生成パース」「選択肢尤度」「正規化尤度」のわずか3通りしかない。最も少ないバリエーションしか持たない軸が、最も大きな影響を及ぼしているのだ。

ハーネス軸 バリエーション数 軸別ロバスト正解率
選択肢順序 6 60%
プロンプト形式 4 40%
スコアリング方法 3 31%

にもかかわらず、多くの評価プロトコルは選択肢順序の固定やランダム化には注意を払う一方で、スコアリング方法を軽視・未記載のままにしている。公開リーダーボードの評価設定を開示する際、スコアリング方法が最初に明記されるべきである理由がここにある。最も影響力の大きい設定が、最も見落とされている——このギャップこそが、「ニュートラルな評価ハーネス」が存在しないことの核心的な証拠と言える。

実践的示唆：リーダーボードの読み方・作り方

スコアは「点」ではなく「帯」で報告する

リーダーボードに掲載されている単一のスコア（例：「MMLU 87.3%」）は、見かけ上の精度を過剰に信頼させる。実際には、同じ重み・同じ設問であっても評価ハーネスの設定次第でスコアが数十ポイント変動する。そこで、単一の点推定値ではなく、「全設定にわたる最小値〜最大値」を帯として表示し、さらに全26設定すべてで正解が維持された割合（ロバスト正解率）を併記することを提案する。たとえばgemma4-31bの場合、「スコア帯：31%〜89%、ロバスト正解率：21.5%」といった形式で報告すれば、一見高いスコアの裏にどれだけの不安定性が潜んでいるかが直感的に伝わる。

モデル比較は「両者が安定して答える設問」で行う

隣接する2モデルの順位は、両モデルとも確信を持って正解・不正解できる設問（ロバスト設問）上ではほぼ差が検出できない。研究では11ペア中10ペアにおいて、差の95.7%が設定依存で正解が反転する設問（config-fragile設問）から生まれていた。実務でモデル選定を行う際には、まず両モデルが全設定で同じ正解を示す設問だけを抽出し、その上でスコアを比較するのが合理的である。この手順を踏めば、ハーネスの偶発的な選択に左右されない「真の差」に近づける。

ハーネスは全面的に開示する——特にスコアリング方法

現在のリーダーボードの多くは評価設定の一部のみを公開し、スコアリング方法については言及されないことが多い。しかし、選択肢順序（6バリエーション）・プロンプト形式（4バリエーション）・スコアリング方法（3バリエーション）の3軸のうち、最も正解を破壊するのはスコアリング方法である（正解維持率31%）。わずか3種類のバリエーションで9割以上のモデルに最大の影響を与えることを踏まえれば、リーダーボードの公表情報において最初に記載すべき項目は「生成（generate）と尤度（likelihood）のどちらを用いたか」である。各設定のパラメータをすべて公開するのが理想だが、最低限以下の表形式での開示が推奨される。

開示項目 例 影響度
スコアリング方法 尤度（per-token perplexity） 最大（正解維持率31%）
選択肢順序 アルファベット順（A→D） 小〜中（正解維持率60%）
プロンプト形式 「Answer:」＋「A./B./C./D.」 中（正解維持率40%）

圧縮ベンチマークは設定安定性の確認が必須

MMLUのサブセットやtinybenchmarksのように、項目反応理論（IRT）に基づいて設問数を削減する圧縮ベンチマークが広がりつつある。しかし、弁別力とconfig-fragilityの間には正の相関（0.28）があり、弁別力の高い設問ほどハーネスにもろい傾向がある。最も弁別力の高い100問の平均fragilityは0.96と極めて高く、圧縮後のデータセットではチャンピオン数が平均で5.7に増加する。圧縮ベンチマークを利用する際は、採用した設問群に対して事前にフラジリティ・グリッドを実行し、設定変更時のスコア安定性を検証してから信頼すべきである。

フラジリティ・グリッドをリーダーボード公表前の標準チェックに

上記の提案を一貫して実施する方法として、フラジリティ・グリッドを「リーダーボードが順位を確定する前に実行すべき必須のチェック」として位置づけることができる。具体的には、評価対象のモデル群に対し、複数のハーネス設定（最低でもスコアリング方法の異なる2系統）で全設問を評価し、各モデルのロバスト正解率とスコア帯を計算する。この結果をリーダーボード本体と同時に公表すれば、利用者は「この順位はハーネスの選択にどの程度依存しているのか」を自ら判断できる。コードとデータはMITライセンスで公開されており、分析スクリプトはCPUで約10秒で全数値を再現可能なため、導入の実務的な障壁は低い。

よくある質問

この研究はLLMの実力差を否定しているのか？

否定していない。モデル間に能力差が存在することは研究の前提であり、gemma4-31bが総合的に高いロバスト正解率を示すなど、階層構造自体は観測されている。主張は「隣接するモデルの順位は、両者が安定して正解できる設問では識別できない」という点に限定される。リーダーボードの1位と2位の差は、実力差ではなくハーネス設定に対する反応の違いである可能性が高い。

「フラジリティ・グリッド」は誰でも実行できるのか？

可能。解析コードと全データはMITライセンスでGitHubに公開されており、分析スクリプトはCPUで約10秒で全数値を再現できる。ただし、フルグリッド（12モデル×3,679設問×26設定）の実行にはGPUとvLLMなどの推論エンジンが必要となるため、新規に実行する場合は計算資源の確保が前提となる。

「26の設定」は恣意的ではないのか？

恣意的ではない。採用された26設定はすべて実際の公開評価コードで使われているものを選んでおり、「対抗的（adversarial）」な設定は1つも含まれていない。論文の著者は「弁護できる（defensible）」と判断した設定のみを採用したと明記しており、設定の代表性は担保されている。

クローズドモデル（GPT-4、Claude等）でも同じことが起きるのか？

本研究では検証されていない。クローズドモデルはAPI経由でのみ利用可能であり、制御されたグリッド実験（同一の重みでデコーディングを固定するなど）が実施できないためである。ただし、同じ多肢選択形式を使う以上、プロンプト形式やスコアリング方法の影響を受ける可能性は高く、同様の傾向が存在することを示唆する関連研究も複数存在する。

この問題の解決策はあるのか？

単一のハーネス設定に依存せず、複数設定でのスコアの「帯」で評価することが第一の対策である。具体的には、ロバスト正解率（全設定で正解する設問の割合）を併記し、複数設定にわたって安定した勝者を選ぶ集約ルールの研究が今後の課題となる。ハーネスの完全な開示（特にスコアリング方法）も最低限の要件である。

まとめ

本稿で紹介したフラジリティ・グリッド研究は、多肢選択ベンチマークのリーダーボードが「モデルの実力」だけを測っているわけではないことを明確に示した。12モデル×3,679設問×26設定の評価テンソルから得られた知見は、リーダーボードの数字がいかに評価ハーネスの選択に依存しているかを浮き彫りにする。

gemma4-31bはハーネスの設定次第で正解率が31%から89%まで変動し、全12モデルの平均でクレジットされた回答の85%は設定変更で反転可能だった。隣接モデル間の順位差に至っては、平均で95.7%が「config-fragileな設問」（設定によって正解が変わる設問）によって生まれている。両モデルが安定して正解できる設問だけを見れば、ほとんどのペアは同点である。さらに、12モデル中4モデルが設定次第で1位を達成しており、mixtral-8x7bのようにリファレンス設定では11位だったモデルが設定変更でトップに立つ例も確認された。

これらの結果が示すのは、「ニュートラルな評価ハーネス」は存在しないという事実である。評価は常に何らかの選択を伴い、その選択は結果に影響を与える。リーダーボードを読む際には、スコアを単一の点ではなく「帯」として捉え、ロバスト正解率（全設定で正解する設問の割合）を参照することが重要である。また、リーダーボードの構築者には、ハーネスの完全な開示（特にスコアリング方法）と、フラジリティ・グリッドのような安定性チェックの実施が求められる。LLMの真の能力差を議論するためには、評価設定の「もろさ」を前提としたより誠実な比較方法が不可欠である。

参考資料

関連記事