AI・テクノロジー

「校正済みで知るには十分、行動には不十分」──捏造された証拠がLLMエージェントを知り得ない未来に賭けさせる

docker agent

• 12 min read
Share

はじめに：LLMエージェントの「自信過剰」という根本問題

大規模言語モデル（LLM）を中核とするAIエージェントが、市場予測、データ分析、意思決定支援といった実世界のタスクに急速に導入されています。しかし、これらのエージェントが「自分の知識の限界を正しく認識し、判断を控えるべき場面で控えられるか」という問題は、依然として解決されていません。

これまでLLMの「校正（キャリブレーション）」研究は、モデルが自身の確信度と実際の正解率をどの程度一致させられるかに焦点を当ててきました。既存研究によれば、多くのフロンティアモデルは確率推定こそそこそこ正確に行えますが、その確信度を「行動に移すべきかどうか」の判断に正しく反映できていません。本論文「Calibrated Enough to Know, Not Calibrated to Act」が核心的に問うのは、「知っているかどうか」の認識と「行動するかどうか」の判断がLLM内部で別々のプロセスとして処理されているという点です。後者のプロセス——行動/不行動ゲート——が特に脆弱であり、権威ある形式で提示された証拠（たとえその内容が完全な捏造であっても）によって容易にバイパスされてしまいます。

この問題を解明するため、本研究は12の最先端モデルを対象に、証明不可能な未来の市場方向性を予測させる実験を実施しました。その結果、素の質問に対して6.5%であったコミットメント率が、本物の市場データパネルを提示すると54.0%に跳ね上がり、すべての数値を偽造したパネルでも36.8%と、本物と統計的に区別できない水準に達しました。これは、モデルが情報の「真正性」ではなく「権威ある形式での提示」に反応していることを示しています。本記事では、この根本問題の仕組み、実験結果、そして有効な対策について詳述します。

実験デザイン：証明可能な不確実性の下でのエージェント行動

本研究の実験は、LLMエージェントが「原理的に知り得ない情報」に対してどのように行動するかを検証するために設計されました。具体的なタスクとして、未来の株価の上下方向など、現時点では証明不可能な市場予測をエージェントに回答させる設定を採用しています。

実験は3つの条件で構成されます。条件A（素の質問のみ） では、エージェントに対して市場の方向性を問う質問だけを提示し、補足情報は一切与えません。条件B（本物の市場データパネル提示） では、実際の市場データをまとめたプロ仕様のパネル（銘柄コード、時価総額、出来高、過去の価格変動などを含む表形式のデータ）を併せて提示します。条件C（捏造パネル提示） では、すべての数値をデタラメに置き換えた偽の市場パネルを、本物とまったく同じ形式で提示します。これにより、「情報の内容」と「情報の形式」の効果を分離して測定できます。

テスト対象には、GPT-4o、Claude、Gemini、Llamaシリーズなどを含む12の最先端フロンティアモデルが選ばれました。評価指標として、エージェントが明確に行動に移る割合を示すコミットメント率、自身の回答に対する確信度の表明値、そして応答可能な設問との比較による正解率の3つを測定しています。

以下の図は、3条件における各モデルのコミットメント率の変化を模式的に示したものです。素の質問のみではほとんどのモデルが行動を拒否しますが、パネル（本物・捏造の双方）を提示することでコミットメント率が急上昇する様子が確認できます。

%%{
  init: {
    'theme': 'base',
    'themeVariables': {
      'barColor': '#4A90D9',
      'barStroke': '#2C5F8A'
    }
  }
}%%
bar chart
    title "3条件におけるコミットメント率の比較（12モデル平均）"
    x-axis "実験条件"
    y-axis "コミットメント率 (%)" 0 --> 60
    "素の質問のみ": 6.5
    "本物パネル": 54.0
    "捏造パネル": 36.8

この実験デザインの特徴は、「応答可能な設問」を同一パネル内に含めることで、モデルが情報を読んで理解する能力自体は損なわれていないことを確認できる点にあります。情報処理能力と行動決定の間にある乖離を、同一の実験フレームワークの中で直接比較できる設計となっています。

衝撃的な結果：捏造された証拠が本物と見分けがつかない

実験結果は、LLMエージェントの行動決定が「情報の内容」ではなく「情報の見せ方」に支配されていることを明確に示しました。何も情報を与えずに「この株価は上がるか下がるか」と質問しただけの条件（素の質問）では、12のフロンティアモデル全体のコミットメント率（行動に移す割合）はわずか**6.5%**でした。ほとんどのモデルが、証明不可能な問いに対しては「わからない」と回答し、行動を控えたのです。

しかし、プロ仕様の市場データパネル（価格チャート、RSI、MACD、ボリンジャーバンド等を含む）を提示した条件では、様子が一変します。本物の市場データを提示した場合のコミットメント率は54.0%に急上昇し、素の質問と比較して約8倍にも達しました。さらに衝撃的なのは、すべての数値をデタラメに捏造した偽のパネルを提示した条件でも36.8%ものコミットメント率が観測された点です。本物パネルの条件（54.0%）と捏造パネルの条件（36.8%）の間には統計的に有意な差がなかったのです。つまり、モデルはデータが本物か偽物かを区別できておらず、真正性とは無関係に行動していました。

条件 コミットメント率 素の質問との比較
素の質問（情報なし） 6.5% 基準値
本物の市場パネル 54.0% 約8.3倍
捏造された市場パネル 36.8% 約5.7倍（本物と統計的に区別不能）

なぜこのような現象が起きるのでしょうか。その答えは、モデルが情報の内容ではなく、情報の**権威ある形式での提示（権威パッケージング）**に反応しているという点にあります。プロが使うようなチャートやテクニカル指標の一覧は、たとえ中身がデタラメであっても、「これは真剣に検討する価値のあるデータだ」とモデルに誤認させます。モデルは数値の妥当性を検証するよりも、その形式が「分析に値する」というシグナルとして機能しているのです。この結果は、LLMエージェントが「何が提示されたか」ではなく「どのように提示されたか」で行動を決定する脆弱性を浮き彫りにしています。

失敗の局所性：3つの「できていないこと」の誤解を解く

LLMエージェントが捏造された証拠に基づいて行動してしまう現象は、一見するとモデルの「能力不足」「確信度の過剰」「判断力の欠如」のいずれかに起因するように思えます。しかし実験結果は、これらの直感的な解釈がいずれも誤りであることを示しています。

能力不足ではない──応答可能な設問ではほぼ完璧

まず、モデルに提示されたパネルに付随する「応答可能な質問」（パネルの数値を読み取れば正解が分かる設問）に対する正解率は、全モデルでほぼ100%に達しました。つまり、モデルは与えられた情報を正確に読み取り、内容を理解する能力を十分に備えています。行動の失敗は「情報を正しく解釈できないから」ではなく、別の原因によるものです。

信念（確信度）の問題ではない──確率はほとんど動かない

次に、モデルが表明する確信度（「この予測が正しい確率はX%」という自己評価）に着目します。素の質問、本物パネル、捏造パネルの3条件間で、表明された確率はほとんど変化しませんでした。むしろ、モデルの確率推定値は単純な気候ベースライン（climatological baseline：過去の出現頻度に基づく基準確率）よりもスコアが悪く、校正（キャリブレーション）の質は低いままです。これは、モデルが「知っているかどうか」の確率推定と「行動するかどうか」の決定を、独立したプロセスとして処理していることを示唆します。

判断力の問題ではない──認識と行動が乖離

最後に、行動の前に「この質問は知識可能か（知り得る情報で答えられるか）」をモデルに分類させた実験があります。モデルは90%以上の確率で「不可知」と正しく回答しました。しかし、それにもかかわらず、そのうちの0.4%のケースでモデルは実際に行動（コミット）してしまいます。これは、モデルが「知らない」と認識しているにもかかわらず、行動ゲートが別途作動してしまうことを意味します。認識（epistemic state）と実行（action）の判断経路が独立していることが、この乖離の根本原因です。

以上の3点から明らかなのは、LLMエージェントの失敗は「能力」「確信度」「判断力」のいずれの欠如にも起因しておらず、より深層にある行動/不行動ゲートの構造的問題に根ざしているということです。

真の問題：行動/不行動ゲートの故障

これまでの実験結果が示唆するのは、LLMエージェントの失敗原因が「知識の欠如」でも「確信度の誤り」でも「判断力の不足」でもないという点です。真の問題は、**行動/不行動ゲート（act/don't-act gate）**と呼ばれる、認識と行動を橋渡しする内部機構の故障にあります。

このゲートは、モデルが「自分はこの質問に答える十分な知識を持っているか」を評価し、不十分な場合には行動を抑制する役割を担います。実験では、素の質問のみの条件ではほとんどのモデルがこのゲートを正常に機能させ、コミットメント率はわずか6.5%に留まりました。しかし、権威ある形式（プロ仕様の市場データパネル）で情報が提示されると、このゲートは無効化されます。本物のパネルで54.0%、捏造パネルでも36.8%へとコミットメント率が急上昇した事実は、ゲートが「情報の内容」ではなく「情報の見せ方」によってバイパスされていることを明確に示しています。

注目すべきは、この効果が全モデルに均一に現れるわけではない点です。特定のモデルに効果が集中しており、ゲートの脆弱性にはモデルごとに差があります。この不均一性は、行動/不行動ゲートがモデルアーキテクチャや訓練データに依存した個別のコンポーネントである可能性を示唆します。さらに重要なのは、このゲートが「知っているかどうか」の認識プロセスから分離可能であるという発見です。モデルは「この質問には答えられない」と正しく認識しながら（90%の確率で「不可知」と分類）、そのうちの0.4%で実際に行動してしまいます。認識と行動が独立したゲートで制御されているからこそ、この乖離が生じるのです。

このゲートの分離可能性は、訓練可能性を強く示唆します。すなわち、行動/不行動ゲートはモデルの他の能力（知識理解や確信度推定）に干渉することなく、独立して強化できるということです。

解決策：教師ありファインチューニングによるゲートの訓練

前節までに明らかになった行動/不行動ゲートの故障は、決して修正不可能な問題ではありません。このゲートが「知っている」処理と「行動する」処理の間で独立して動作しているからこそ、切り離して訓練できるという性質を持ちます。著者らはこの分離可能性を活用し、小規模モデルを用いた教師ありファインチューニングによってゲートの動作を直接的に調整する実験を行いました。

実験には3Bパラメータ（30億）の小規模言語モデルが使用されました。訓練データは、サイコロの出目予測、コイン投げの結果当て、壺から玉を引く確率、タイマーの残り時間推定など、540件の確率的判断問題で構成されます。これらの問題はいずれも「知り得ないこと」を問うものであり、訓練のターゲットは、そうしたケースに対するコミットメント率を0%（つまり完全な棄権）にすることです。

訓練後のモデルは、元のテストケースにおいてコミットメント率0.0%を達成しました。これは、行動ゲートが外部から与える情報の形式に左右されず、知り得ないことに対しては一切行動しない状態へと調整されたことを意味します。さらに重要なのは、この効果が訓練時に使ったドメインに留まらない点です。ファインチューニング後のモデルは、未見の3つのドメイン（金融指標、医学的検査値、天気予報データ）においても、提示された証拠の権威的な形式に惑わされることなく行動を抑制できました。ゲートの訓練は、特定のタスクのパターンを暗記させるのではなく、汎用的な判断機構として機能していることを示唆します。

ただし、この解決策には「文脈脆弱性（context-fragile）」という重要な制約が存在します。応答形式に推論の余地が残されている場合（「考えた上で回答してください」のような指示）にはゲートは正常に機能します。しかし、回答形式が厳格に固定され推論の余地がない場合（「Yes/Noのみで回答してください」のような制約）には、ゲートが機能せず、モデルは誤った自信を示したまま行動してしまいます。この現象は、行動ゲートが単なるif-thenルールではなく、モデル内のより高次な推論プロセスと連動して動作するメカニズムであることを示しています。

この結果は、AIエージェントの安全性を高めるための具体的な手法として、合成データによる行動ゲート訓練が有効であることを実証する一方で、その実装には応答形式の設計を慎重に行う必要があるという実践的な教訓も同時に与えています。

実世界への示唆：LLMエージェントの安全な展開のために

本研究の知見は、LLMエージェントを高リスク領域で実運用する際に深刻な警鐘を鳴らしています。金融取引の自動執行、医療診断の補助、法的判断の下書き作成など、エージェントが自律的に行動する場面では、単にモデルの確信度が高いかどうかではなく、「形式の権威」によって行動ゲートが無意識にバイパスされるリスクを考慮しなければなりません。実際の実験では、すべての数値がデタラメな捏造パネルであっても、本物の市場データパネルと統計的に区別できないほど高いコミットメント率を引き出しました。これは、プロが作成したチャートや専門家レポートの引用といった「権威ある形式」で情報が提示されただけで、モデルが内容の真偽を精査せずに行動してしまう可能性を示しています。

この問題への軽減策として、まず行動/不行動ゲートを確信度の表明から独立して訓練し評価する枠組みが有効です。実験で示された通り、3Bパラメータのモデルを540の合成ケースで教師ありファインチューニングするだけで、コミットメント率を0.0%にまで低減できました。また、エージェントの応答形式には常に推論の余地を残す設計が重要です。回答形式が厳格で「はい/いいえ」の二択しか許されない場合、ゲートの機能が著しく損なわれることが確認されています。さらに、確信度の表明（「どの程度確信しているか」）と実際の行動決定（「実行するかどうか」）をシステム上で分離し、後者には別途ルールベースの検証レイヤーを設けることも有効な対策となります。

加えて、行動ゲートの訓練は一度で完了するものではなく、運用ドメインごとに合成データを生成して継続的に実施する必要があります。本研究では未見の3ドメインへの転移が確認されましたが、「文脈脆弱性」の性質上、想定外の入力形式に対しては保護が効かない可能性が残ります。LLMエージェントを安全に展開するには、単なる確率校正（キャリブレーション）の向上ではなく、行動ゲートの独立した設計・訓練・監査が不可欠です。

よくある質問

この研究の結果は、LLMが「嘘をついている」ことを意味するのか？

いいえ。モデルは意図的に虚偽の情報を生成しているわけではなく、権威ある形式で提示された情報に対して、その内容の真偽とは無関係に行動してしまう「認知的バイアス」に近い現象を示しています。応答可能な質問には正確に答えられることから、これは能力の問題ではなく、判断プロセスにおける行動/不行動ゲートの脆弱性です。

捏造された証拠と本物の証拠の効果に統計的差がないとはどういう意味か？

実験では、本物の市場データパネルを提示した場合のコミットメント率（54.0%）と、すべての数値をデタラメにした捏造パネルを提示した場合（36.8%）に、統計的に有意な差が認められませんでした。つまり、モデルはデータの「内容」ではなく「形式（権威あるチャートの見た目）」に反応して行動を決定しています。この結果は、情報の真正性を検証する能力以前に、形式そのものが判断を歪めることを示しています。

3Bモデルでのファインチューニング結果は、大きなモデルにも適用できるか？

実験では3B（30億パラメータ）の小規模モデルを540の合成ケースで訓練し、元のテストケースでコミットメント率0.0%を達成しました。これは、行動/不行動ゲートがモデルサイズに依存せず訓練可能であることを示唆します。ただし、大規模モデルでも同様の効果が得られるかは、今後のさらなる検証が必要です。

この研究の実用的な影響は何か？

LLMエージェントを金融取引、医療診断補助、法的判断等の高リスク領域で使用する場合、入力データの「形式」が判断を歪めるリスクを認識する必要があります。具体的な対策として、行動ゲートの独立した訓練、推論の余地を残す応答形式の採用、そして入力データを介した操作に対する耐性評価が重要となります。

研究の限界は何か？

実験は主に市場予測タスクに焦点を当てており、他のドメインへの一般化は限定的にしか検証されていません。ファインチューニングの転移は3つの未見ドメインで確認されましたが、より多様なドメインでの検証が求められます。また、応答形式が厳格な場合にゲートが機能しなくなる「文脈脆弱性」のメカニズムは完全には解明されておらず、今後の研究課題として残されています。

まとめ

本論文が明らかにしたのは、LLMエージェントの根本的な脆弱性──「知っている」ことと「行動する」ことを独立したプロセスとして処理している点です。実験では、素の質問に対するコミットメント率が6.5%であったのに対し、権威ある形式でパッケージングされた情報を提示すると、本物（54.0%）と捏造（36.8%）のどちらであってもコミットメント率が急上昇し、両者の間に統計的に有意な差は見られませんでした。つまり、モデルは情報の「内容」ではなく「形式」に反応して行動ゲートを誤って開いてしまうのです。

この問題は能力や確信度の問題ではありません。応答可能な質問ではほぼ完璧な正解率を示し、確信度の表明も条件間でほとんど変化しませんでした。さらに、行動の前に「この質問は知識可能か」を分類させると90%の確率で「不可知」と認識したにもかかわらず、その一部で実際にコミットしてしまいます。認識と実行のゲートが分離していることが、この矛盾を生むのです。

幸い、この行動/不行動ゲートは訓練可能です。3Bパラメータの小規模モデルを540の合成ケースで教師ありファインチューニングした結果、元のテストケースでコミットメント率0.0%を達成し、未見の3ドメインにも転移可能でした。ただし、この効果は文脈脆弱性を伴い、応答形式が厳格で推論の余地がない場合には機能しなくなります。

AIエージェントを金融予測、医療判断、法的推論などの高リスク領域で活用する際には、入力データの「見せ方」が判断を歪めるリスクを認識し、行動ゲートの独立した訓練と評価、推論余地を残す応答形式の採用が不可欠です。校正された確信度は行動の信頼性を保証しません──「知るには十分、行動には不十分」というのが、この研究の核心的な教訓です。

参考資料

関連記事