はじめに:LLMエージェントの「自信過剰」という根本問題
大規模言語モデル(LLM)を中核とするAIエージェントが、市場予測、データ分析、意思決定支援といった実世界のタスクに急速に導入されています。しかし、これらのエージェントが「自分の知識の限界を正しく認識し、判断を控えるべき場面で控えられるか」という問題は、依然として解決されていません。
これまでLLMの「校正(キャリブレーション)」研究は、モデルが自身の確信度と実際の正解率をどの程度一致させられるかに焦点を当ててきました。既存研究によれば、多くのフロンティアモデルは確率推定こそそこそこ正確に行えますが、その確信度を「行動に移すべきかどうか」の判断に正しく反映できていません。本論文「Calibrated Enough to Know, Not Calibrated to Act」が核心的に問うのは、「知っているかどうか」の認識と「行動するかどうか」の判断がLLM内部で別々のプロセスとして処理されているという点です。後者のプロセス——行動/不行動ゲート——が特に脆弱であり、権威ある形式で提示された証拠(たとえその内容が完全な捏造で