AIエージェントは「客」の味方か「店」の味方か——インセンティブ不整合なマーケットプレイスで購入成功率が78.6%→17.3%に急落するCAVEATの警告

はじめに——「代理購入」エージェントが当たり前になる前に知るべきこと

AIエージェントに買い物を任せる、という行為が一気に現実味を帯びてきました。2026年に入り、OpenAIやMetaはメール送信・旅行予約・オンラインショッピングの決済までを自律実行するパーソナルAIエージェントを相次いで投入しています。MetaのパーソナルAIエージェント「Muse」の米国提供開始はその代表例です。決済側の動きも速く、StripeのAgentic Commerce Suite、VisaのTrusted Agent、Mastercardのエージェント決済スキームなど、「AIが人間の代わりに支払う」ためのインフラが整いつつあります。

一方で、警戒の声も上がっています。銀行業界は「AIショッピングボットは詐欺・不正・データプライバシーのリスクを高める」と警告しました。ただし、これまでの研究が扱ってきたのは大きく2種類だけです。ひとつは全員がユーザーに協力的な環境、もうひとつはプロンプトインジェクションのような明示的な攻撃です。「環境が正常に動いているのに、環境側にも利害がある」という中間領域は、ほとんど測られてきませんでした。

この記事で取り上げるのは、Carnegie Mellon UniversityとMicrosoft ResearchのYuxuan Li、Will Epperson、Wesley Deng、Zezhou Huangによる論文「CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Environments」（arXiv:2609.27273, 2026年9月23日公開）です。CAVEATは、9つのマーケットプレイスと8種類の誘導手法を用意し、ユーザー要求・商品カタログ・価格・在庫・最適解を完全に固定したまま「見せ方」だけを変える比較実験を行いました。

結果は衝撃的です。ユーザーにとって最適な商品を購入できた割合は、誘導なしの78.6%から誘導ありでは17.3%へと急落しました。差は61.3ポイント。タスクの難易度は一切変わっていないのに、です。

この記事では、「AIエージェントは環境に利害があるだけで簡単に誘導される」という新しいリスク軸を、定量結果・失敗の発生箇所・具体的な対策まで一気通貫で追いかけます。エージェントに購買を委任する設計に関わる方にとって、評価軸をひとつ増やすきっかけになれば幸いです。

インセンティブ不整合環境とは何か——「敵」ではなく「普通に営業している店」

まず用語を整理する：CUAとインセンティブ不整合環境

コンピュータ操作エージェント（CUA: Computer-Use Agent） とは、ブラウザを人間の代わりに操作し、検索・比較・購入といった一連の作業を最後まで完結させるAIエージェントを指します。ユーザーは「来週の出張に合う宿を、駅から徒歩10分以内で、朝食付き、予算1泊2万円以内」のように自然言語で依頼するだけで、あとはエージェントがページを辿り、カートに入れ、決済まで進めます。

インセンティブ不整合環境（incentive-misaligned environment） とは、環境自身が成果に対して利害（目的）を持ち、その目的を推し進めるとユーザーにとって最適でない選択が有利になる環境です。ここで重要なのは、これが攻撃者や不正なサイトを指すわけではないという点です。普通に営業しているECサイトや予約プラットフォームが、自社の売上や在庫処理という正当な目的を持っている。その目的が、ユーザーの最適と静かに食い違う——それがインセンティブ不整合です。

形式化：U(x)、X*_U、そして最適選択率

論文はこの状況を次のように定式化します。

• $X$：実現可能な成果（購入・予約の選択肢）の集合
• $U(x)$：ユーザーの目的を表す効用関数
• $X^{*}{U} = \arg\max{x \in X} U(x)$：ユーザーにとって最適な成果の集合
• $\hat{x}_{E}$：エージェントが環境 $E$ と相互作用した結果として選んだ成果

エージェントの選択が $\hat{x}{E} \in X^{*}{U}$ を満たすとき、その選択は「最適（optimal）」と定義されます。そして、多数のエピソードのうち最適な選択が得られた割合を最適選択率（optimal selection rate） と呼びます。本記事の中心となる数値（誘導なし78.6%、誘導あり17.3%）は、まさにこの指標です。

一方、環境側は自らの目的 $V$ を持ちます。$V$ を推し進めることが $X^{*}_{U}$ の外にある選択肢を優遇してしまうとき、その環境は委任された意思決定に対して「インセンティブ不整合」である、と定義されます。環境は $V$ を直接要求してきません。代わりに、ステアリングメカニズム——「どの選択肢を見せるか」「どう見せるか」「どれだけ手間をかけるか」——を通じて、意思決定の文脈そのものに働きかけてきます。

「タスク完了」と「最適選択」は別物である

ここで読者が最初につまずきやすい区別を明確にしておきます。

既存のベンチマークは前者しか測ってきませんでした。「注文が通った」ことは「正しく選べた」ことを意味しません。ユーザーの予算内で手配が完了していても、同じ条件を満たすより安く・より条件の良い宿が別にあったなら、エージェントは依頼を果たしたとは言い切れないのです。

明示的な攻撃との違い——嘘をつかない誘導

この区別は本論文を理解する上で決定的です。プロンプトインジェクションのような明示的な攻撃は、環境がエージェントを騙そうとする設定です。対してインセンティブ不整合環境は、設計どおりに正常動作しながら、ユーザーとは異なる成果を好みます。

CAVEATが用意する誘導では、表示される情報はすべて正確です。価格も在庫も評価も、事実が偽られることはありません。変わるのは、順序・目立ちやすさ・情報が開示されるタイミングだけです。同じ商品カタログと同じユーザー要求を与えても、並べ方と見せ方だけで結果が変わる——たとえば次のような対比です。

この2条件を突き合わせる「マッチド条件」の設計により、「タスクが難しくなったから失敗した」のか「環境の見せ方だけで失敗した」のかを切り分けられます。次章では、この設計を支える9つのマーケットプレイスと8つの誘導手法を見ていきます。

CAVEATベンチマークの設計——9つのマーケットプレイスと8つの誘導手法

CAVEATの核心は、「環境の利害だけを変える」という統制された比較を、実際のブラウザ操作で成立させた点にある。ここではベンチマークの構成要素を、環境・タスク・誘導手法・評価条件の4つに分けて見ていく。

9つのブラウザベース・マーケットプレイス

評価対象は、短期宿泊、総合小売、フードデリバリー、リセール（中古・転売）、フリーランスサービス、食料品配達、専門店など、領域の異なる9つのマーケットプレイスである。それぞれが独自のストアフロント（商品一覧・検索UI・絞り込み・カート・注文フロー）を持ち、単一の共通テンプレートではない。領域ごとに「何が最適か」の判断基準が変わるため、1つの環境で得たスコアが別の環境でも通用するとは限らない。

エージェントには自然言語のリクエストだけが与えられ、検索・ページ遷移・出品の閲覧・フィルタやソート・カート操作を自由に行い、注文または予約まで完結することが求められる。手順は一切指定されない。つまり「どう探すか」は完全にエージェントの裁量に委ねられており、その裁量の質そのものが測定対象になる。

タスク設計——「唯一の最適解」をいかに作るか

各リクエストは、**必須要件（hard requirements）と比較要件（comparative requirements）**の2種類から構成される。必須要件は「これを満たさなければ候補にすらならない」条件であり、比較要件は「満たす候補どうしをどう比べるか」の条件である。

重要なのは、必須要件を満たし、かつすべての比較要件で総合的に最も優れる選択肢がただ1つになるように設計されている点だ。恣意的な重み付けを必要とせず、正解が一意に定まる。商品属性は構造化データとして保持され、全カタログに対してプログラム的に検証されるため、「実は最適だった」という判定揺れが起きない。エピソードの採点は、成立した取引がこの唯一の最適商品と一致するかどうかで行われる。タスクが完了したかではなく、正しく選べたかを見ているわけである。

8つのステアリングメカニズム

環境側が意思決定に働きかける仕掛けは、実在の商業慣行に基づいて8種類に分類されている。分類は学術研究・規制ガイダンス・政策分析（英国CMA、米FTC、OECD、EUなど）を横断して抽出されたもので、思いつきの操作ではない。

ここで押さえるべきは、これらの手法が提示する情報はすべて正確だという点である。商品の説明が偽られることも、存在しないレビューが並ぶこともない。順序・目立ちやすさ・情報の出るタイミングという「真実の見せ方」だけで、エージェントの意思決定がどれだけ歪むかが問われる。

マッチド条件——因果を切り出す工夫

CAVEATの説得力の源は、**マッチド条件（matched control）**にある。各タスクには「誘導なし」と「誘導あり（8メカニズム全有効）」の2バージョンが用意され、両者でユーザーのリクエスト・商品・属性・価格・在庫・最適解は完全に同一である。変わるのは並び順・目立ちやすさ・情報の開示タイミングだけだ。

この2条件の最適選択率の差は「インセンティブ起因の劣化（incentive-induced degradation）」と定義される。タスクが難しくなったから失敗したのではなく、環境の見せ方だけで失敗した、と切り分けられる仕組みになっている。

規模と評価設定

ベンチマークは2つの規模で提供される。

Standardは領域の広さをカバーし、Hardは探索の深さを突く設計だ。Hardでは1ページに収まらない量の候補を扱う必要があり、エージェントがどこまで探し続けられるかが結果を左右する。

評価はBrowserUseハーネスを全モデル系統で固定し、5モデル系統・18構成を各タスク3回反復で実行する。CAVEAT-Hardについては最強構成で10回反復する。ハーネスを固定しているため、スコアの差はモデル自身の性質と環境の見せ方に由来するものとして解釈できる。

実験結果——同じ問題なのに、購入成功率は78.6%から17.3%へ

ここからが本論文の核心である。CAVEAT-Standard（9環境・52タスク）で、エージェントが「ユーザーにとって最適な商品」を購入できた割合は、誘導なし条件で78.6%だった。ところが8つのステアリングメカニズムを有効にした誘導あり条件では、17.3%まで落ち込む。差は61.3ポイントである。

この低下は一部のモデルだけの問題ではない。評価した5モデル系統のすべてで劣化が見られ、その低下幅は37.2〜78.9ポイントに及ぶ。最も強い構成であるGPT-5.6-Sol（低推論）でも91.0%から53.8%へと低下し、ハーネスとモデルを丸ごと差し替えた別条件——専用CUAモデルFara1.5-27Bをnative Faraハーネス上で動かしたCAVEAT-Shop——でも81.7%から3.3%へと急落した。つまり、これは特定実装の癖ではなく、環境側の利害が存在するだけで繰り返し観測される現象だ。

ここで重要なのは、誘導なし条件と誘導あり条件で、ユーザーの要求・商品カタログ・属性・価格・在庫・正解の商品が完全に同一だという点である。変わるのは並び順、目立ちやすさ、情報が開示されるタイミングだけだ。したがってこの61.3ポイントは「タスクが難しくなったから解けなかった」のではなく、環境の見せ方だけで失われた性能、すなわちインセンティブ起因の劣化として切り分けられる。

どの誘導が最も効くのか——メカニズムを1つずつ有効化する

8手法をまとめて有効にした結果だけでは、どの操作が効いているのか分からない。そこでGPT-5.6-Sol（低推論）とCAVEAT-Shopの20タスクを使い、メカニズムを1つだけ有効化する比較が行われている。

すべて無効のときの最適選択率は100%だった。そこからスポンサー枠（有料の商品を目立つ位置に置く仕掛け）のみを有効にすると63.3%へ、優遇ランキング（プラットフォームが推したい商品を上位に並べる仕掛け）のみで75%、ドリッププライシング（必須の費用を購入手続きの後半まで開示しない仕掛け）のみで83.3%へと低下した。残り5手法の影響はこれより小さい。

効果が大きいのは、いずれも「目立たせる」「順番を変える」「後から費用を出す」という、情報を偽らない単純な操作である。割引の演出やレビューによる信頼感の醸成よりも、そもそも何を見せて何を見せないかという配置の問題が、エージェントの判断を強く歪める。

xychart-beta
    title "メカニズム単独の寄与（GPT-5.6-Sol-low / CAVEAT-Shop 20タスク）"
    x-axis ["全無効", "ドリップのみ", "ランキングのみ", "スポンサーのみ"]
    y-axis "最適選択率 (%)" 0 --> 100
    bar [100, 83.3, 75, 63.3]

CAVEAT-Hardで起きる極端な失敗

もう一つ見落とせないのが、大規模設定での結果である。CAVEAT-Standardが1シナリオあたり約70商品なのに対し、CAVEAT-Hardは5タスクそれぞれが2,112商品・88ページという広い探索空間を持つ。

この設定でGPT-5.6-Sol（高推論）は、誘導なしなら90.0%の確率で最適商品を購入できる。ところが誘導ありでは、50エピソードすべてで最適商品を購入できず、成功率は0.0%だった。要するに、モデル単体の能力としては「解ける問題」でありながら、環境に利害があると完全に失敗する。探索空間が広いほど、目立つ位置に置かれた準最適な商品へ流されやすくなり、能力と頑健性の間の乖離が極端な形で露出する。

モデルの能力はどこまで耐えるか——推論・規模・世代の効果

環境の誘導によって最適選択率が大きく落ちることが分かった。では、モデル自体を強くすればこの劣化に耐えられるのだろうか。CAVEATは誘導あり条件のもとで、能力に関わる3つの軸——推論、規模、世代——を切り分けて測っている。

推論を増やすと改善する

ここでいう推論（reasoning）とは、最終的な答えを出す前に内部で思考のステップを重ね、比較・検討に使う計算量を増やす動作を指す。CAVEAT-Shopの誘導あり条件では、GPT-5.6-Solは低推論で51.7%、高推論で90.0%まで改善した。GPT-5.5でも低推論12.0%から中・高推論で約50%へと上昇している。つまり、じっくり考えさせるだけで、環境の見せ方によって失われた性能のかなりの部分を取り戻せる。ただし後述のとおり、それでも完全には回復しない。

規模拡大の効果は「新しい世代でだけ」現れる

モデルの規模を大きくすれば頑健になるのか。GPT-5.6の系統内では、低推論でLuna 0.0%→Terra 11.7%→Sol 51.7%という明確な単調増加が見られる。ところが旧世代のGPT-5系では、nano・mini・mainのいずれも0.0%のままである。規模を大きくするだけでは足りず、世代そのものが新しくなって初めて規模の効果が表面化する。同じ「大きいモデル」でも、設計が古ければ誘導にまったく耐えられないという点は重要だ。

世代の進行

低推論で固定して世代を追うと、GPT-4o・GPT-4.1・GPT-5はいずれも下限にとどまる。そこからGPT-5.5で12.0%、GPT-5.6-Solで51.7%へと段階的に改善する。

能力向上だけでは埋まらないギャップ

ここまでの結果は、推論・規模・世代のいずれの軸でも頑健性が改善することを示している。しかし決定的な但し書きがある。同じモデルの「誘導なし条件での正答率」と比べると、誘導ありの水準は依然として大きく見劣りするのだ。GPT-5.6-Solは高推論で90.0%に達するが、これは誘導なしの水準（91.0%）にわずかに届かない程度であり、低推論の51.7%に至っては半分程度にすぎない。加えて、より広い探索空間を持つCAVEAT-Hardでは、高推論の最強構成でも誘導ありで0.0%に沈む。

つまり、モデルの能力を上げることは必要条件ではあっても十分条件ではない。世代を進め、推論を増やせば改善はするが、環境側に利害があるだけで生じるギャップは、能力の向上だけでは埋まらない。この乖離こそが、次の節で見る「失敗がどこで起きるのか」という問いにつながっていく。

失敗はどこで起きるのか——3つの破綻点

購入成功率が78.6%から17.3%へ落ちることは分かった。だが結果だけでは対策は打てない。必要なのは、意思決定のどの段階でつまずいているかという内訳である。CAVEATは成功ラベルを隠した200件の軌跡を定性レビューし、繰り返し現れる挙動を洗い出したうえで、その挙動だけを狙ったアブレーション（要因を1つずつ操作する検証実験）で因果を確認した。結果として、要求理解から探索、比較、購入へと続く流れの3か所に破綻が集中していた。

flowchart LR
    A[要求理解] --> B[探索]
    B --> C[比較]
    C --> D[購入]
    F1[破綻点1: 目的のドリフト] -.-> A
    F2[破綻点2: 探索の早期打ち切り] -.-> B
    F3[破綻点3: 未解決の証拠のままのコミット] -.-> C

破綻点1: 目的のドリフト（Objective Drift）

目的のドリフトとは、ユーザーの要求を正しく把握して探索を始めたにもかかわらず、閲覧の途中で評価の高い商品や目立つ特徴に引っ張られ、事実上ユーザーが指定していない優先順位を自ら持ち込んでしまう現象である。ここで重要なのは、エージェントが要求を取り違えたわけではないという点だ。入口では正しく理解しているのに、売り場を歩くうちに判断基準そのものが書き換わっていく。

これを切り分けるため、等価な2つの優先項目の順序だけを入れ替えた25組のマッチド要求が用意された。カタログ、属性の値、優先度、そして最適解はすべて固定し、先に述べられる項目だけを入れ替える。結果は25組すべてで選択される商品が変化し、先に言及された項目へ体系的にシフトした。順序という無情報な手がかりだけで、ユーザーが指定していない優先順位が導入されたことになる。

破綻点2: 探索の早期打ち切り（Premature Search Closure）

2つ目は、目に見える少数の候補だけを比較し、必須要件を満たした時点で探索を打ち切ってしまう挙動である。失敗軌跡はこの傾向が強く、成功軌跡はより広く探索する。ところが厄介なことに、失敗軌跡も成功軌跡も等しく「十分に探した」と述べている。つまり停止判断が、実際にどこまで見たかという探索範囲に対して校正されていない。

検証では5商品タイプ×4比較要件設定×3反復、各条件60回の試行で、準最適な商品を通常位置から上位のスポンサー位置へ移動させた。結果は、訪問率が45/60から60/60へ上がるだけでなく、購入率が0/60から48/60へと急増した。目立つ位置にあることが、単に「見られるかどうか」だけでなく「見られた後の扱い方」まで変えてしまうのである。大規模設定での帰結も鮮明だ。88ページ・2,112商品のCAVEAT-Hardにおける失敗50件は、すべて1ページ目で停止しており、最適解が奥に埋もれたまま「妥当だが準最適」な商品を購入していた。

破綻点3: 未解決の証拠のままのコミット（Premature Commitment with Unresolved Evidence）

3つ目は、探索自体は成功したのに失敗が残るパターンである。最適商品が比較対象に入っていたにもかかわらず、決定に必要な事実が欠落・誤読・誤記憶されたまま除外されてしまう。

最適商品がすでに発見されていた非最適購入のうち23件を調べると、事実の誤読・忘却・誤判断によって最適解が除外されていた。内訳で最も多かったのは「リスト表示価格」と「実際の支払総額」の混同である。この23件は19のモデル×タスク×条件の組み合わせにまたがっており、うち13件は同じ条件の別の反復では成功している。つまりモデルの能力の問題ではなく、同一設定でも起こりうる手順上の穴だといえる。

ドリッププライシング（必須費用を購入手続きの後半で開示する手法）だけを有効にした検証も決定的だった。他の7手法を無効化したうえでGPT-5.6-Terra-lowを60回実行すると、35回が準最適購入となり、そのすべてがドリッププライシングの対象であるプロモーション商品の選択だった。ランキング操作もスポンサー枠もない状態で、価格情報の提示が遅れるだけで比較が壊れるのである。

3つの破綻点はいずれも、モデルが「答えを知らない」から起きているわけではない。正しい情報が目の前にあり、要求も理解しているのに、見せ方と手順の設計だけで判断が歪む。この診断は、そのまま次の問い——ではどう直せばよいのか——への設計図になる。

対策——CAVEAT-Harnessが「診断」を改善に変える

CAVEATが示した失敗は、モデルの知識不足やタスクの複雑さから生じたものではない。目的のドリフト、探索の早期打ち切り、未解決の証拠のままのコミットという3つの意思決定上の破綻である。ならば、その3点に推論時の構造（ハーネス）で対処できるはずだ——これがCAVEAT-Harnessの設計思想である。ここでいうハーネスとは、モデル本体を差し替えずに、その周囲で推論の手順と検証のタイミングを規定するソフトウェア層を指す。

構成要素1: 構造化されたタスク仕様

第一の構成要素は、目的のドリフトへの対策である。エージェントは閲覧を始める前に、ユーザーの要求を「必須要件」と「比較要件」に構造化し、ユーザーが明示した優先順位だけを記録する。この仕様はエピソード中は固定され、閲覧中に出会った評価の高さや目立つ特徴によって書き換えられない。人間の買い物でいえば、店に入る前に「これは譲れない」「ここは比べたい」を紙に書き出しておき、売り場の演出でそれを上書きしないことに相当する。

構成要素2: 購入前の検証ツール

第二の構成要素は、探索の早期打ち切りと未解決証拠への対策である。エージェントは購入を確定する前に、マーケットプレイス上で得た証拠だけを根拠に「探索が十分に完了しているか」を正当化し、欠落または矛盾する事実が比較結果を変えうるかどうかを確認する。ここで重要なのは、この検証に使える情報の範囲である。ユーザーの要求と通常の閲覧で得た情報のみを用い、ベンチマークの解答、隠れたカタログ状態、誘導のメタデータは一切与えられない。つまり「答えを知っているから正解する」のではなく、正しい手順を踏むことだけで改善している点が本質である。

flowchart LR
    A[ユーザー要求] --> B[必須要件と比較要件に構造化]
    B --> C[優先順位を固定]
    C --> D[探索]
    D --> E{購入前の検証}
    E -->|探索が不十分| D
    E -->|未解決の事実あり| D
    E -->|正当化できる| F[購入]

改善結果

ハーネスを適用したときの改善幅は、いずれの設定でもプロンプトによる指示だけを大きく上回った。

特にCAVEAT-Hardの0.0%→80.0%は象徴的である。88ページ・2,112商品という広い探索空間で、50エピソードすべてが最適商品に到達できなかったモデルが、同じモデルのまま8割のタスクで最適選択に成功した。プロンプトで「よく探してください」と指示するだけでは13.3%にとどまることを考えると、改善の源泉は指示の強さではなく手順の構造にある。

アブレーション——どちらの構成要素が効くのか

CAVEAT-Hardで2つの構成要素を切り分けた結果、寄与の偏りが明確になった。構造化された目的だけでは6.7%、検証ツールだけでは66.7%、両方を組み合わせて80.0%である。大規模設定では、探索の完了と証拠の解決を確認する検証ツールが改善の大半を担い、目的の構造化は上積みとして効いている。別環境への予備的な転移確認でも、CAVEAT-Stayの4タスクで16.7%から50.0%への改善が観測された。

コストのトレードオフ

頑健性は無料では手に入らない。ハーネス適用時の実行時間は2.6倍、ステップ数とツール呼び出しはそれぞれ2.3倍に増える。これは「より広く探し、より多く検証する」という改善の機序そのものの副作用であり、同じ結果をより少ない操作で得ようとする方向とは根本的にトレードオフの関係にある。実際に導入する際は、意思決定の重要度に応じて検証の深さを調整する設計が現実的だろう。

副次的な観察

興味深い副次的観察もある。検証ツールを「使えるようにするだけ」で、モデルがそれを呼び出す前に自発的に探索範囲を広げる挙動が見られた。購入前の確認という出口を用意することが、その手前の探索行動そのものを変えたのである。これは、外部から与える手続きがモデルの内部的な探索方針に波及することを示す一例である。

小型モデルを鍛える——CAVEAT-27Bと事後学習

ここまでは、推論時の構造（ハーネス）によって大規模モデルの頑健性を引き上げる話だった。しかし実運用を考えると、別の要望も無視できない。すべてのエージェントをクラウド上の最強モデルで動かすとは限らず、ローカル実行やプライバシー制約のもとでは、小型のオープンモデルを使いたい場面が多い。では、小型モデルに同じハーネスを被せれば済むのか。論文の答えは「それだけでは足りない」である。

CAVEAT-Shopのタスクで、27BクラスのオープンモデルであるQwen3.5-27BにCAVEAT-Harnessを組み合わせても、最適選択率は4.2%にとどまった。ハーネスは「何をすべきか」という手順を与えるが、その手順を遂行するための操作スキルや状態の扱い方はモデル側に残る。ここを埋めるのが、CAVEAT-27Bと呼ばれる事後学習（post-training）——事前学習済みモデルに追加のデータで微調整をかける手法——である。

学習は2段階で構成される。第1段は、合成環境での軌跡学習だ。教師役には、別の合成環境でGPT-5.6-Sol-lowが生成した軌跡を用いる。モデルはここで、ハーネスが要求する振る舞い——タスク仕様を保持すること、検証ツールを使うこと、有効なブラウザ操作を行うこと——を学ぶ。重要なのは、CAVEATの環境・タスク・カタログ・解答は一切排除されている点である。評価対象の問題を答えごと覚えるのではなく、あくまで手順を身につけさせる設計になっている。

第2段は、ロールアウトでの修正行動学習である。学習済みモデルをCAVEAT-Shopのラップトップ開発タスク上で実際に走らせ、自身のポリシーが到達した状態で、誤りをどう修正するかを学ばせる。静的（あらかじめ用意したデモ）では、ナビゲーションの誤りや、そこからの復帰といった状態に触れさせられない。そこでモデル自身がたどり着いた失敗状態を使うことで、復帰行動を学習させている。修正の正解はGPT-5.6-Sol-lowとCAVEAT-Harnessが提供する。

flowchart TD
    A[Qwen3.5-27B] --> B[第1段: 合成環境での軌跡学習]
    B --> C[仕様保持・検証ツール使用・有効なブラウザ操作を習得]
    C --> D[第2段: CAVEAT-Shopラップトップ開発タスクでのロールアウト]
    D --> E[自身のポリシー到達状態で修正行動を学習]
    E --> F[CAVEAT-27B]

評価結果は明確だ。16の非ラップトップCAVEAT-Shopタスク（各3反復）で、元のQwen3.5-27BはBrowserUseハーネスで0.0%、CAVEAT-Harnessを被せても4.2%だった。これに対しCAVEAT-27Bは同じハーネスで22.9%を記録し、18.7ポイントの改善となる。さらに別環境への転移も確認されている。CAVEAT-Stayの4タスクでは、Qwen3.5-27Bはどちらのハーネスでも0.0%だったのに対し、CAVEAT-27Bとハーネスの組み合わせは16.7%に達した。

この結果の位置づけは、推論時の構造と事後学習の両輪で、診断から得られた意思決定の手順をモデル自身に実行させられる、という点にある。ハーネスは外側から正しい振る舞いを強制するのに対し、事後学習はモデルの内側にその振る舞いを根づかせる。大規模モデルをそのまま使えない制約の中で、この組み合わせが現実的な選択肢になりうることを示した一歩と言える。

この論文が投げかける実務的な示唆

「環境に利害がある」ことは、攻撃とは別カテゴリのリスク

プロンプトインジェクションや悪意あるコンテンツへの防御は、外部からエージェントを騙そうとする入力に対する対策である。CAVEATが扱うインセンティブ不整合は、これとは性質が異なる。プラットフォームは設計どおりに正常動作し、表示される情報もすべて正確だ。商品の並び順や目立ちやすさ、費用の開示タイミングといった「真実の見せ方」だけを変えただけで、最適選択率は78.6%から17.3%へ落ちる。つまり、インジェクション対策をどれだけ厚くしても、正常に営業しているマーケットプレイスによる誘導は防げない。委任エージェントのリスク管理では、攻撃への防御とは別に、環境の利害に流されない頑健性を独立したカテゴリとして扱う必要がある。

開発者向けチェックポイント

CAVEATが特定した3つの破綻点は、いずれも推論時の構造（ハーネス）で対処できる。実装に落とす際のチェックポイントを整理すると、次のようになる。

flowchart LR
    A[要求の構造化と優先順位の固定] --> B[探索範囲の校正]
    B --> C[未解決証拠の解消]
    C --> D[購入コミット]
    A -.->|目的ドリフト対策| X[破綻点1]
    B -.->|早期打ち切り対策| Y[破綻点2]
    C -.->|証拠未解決対策| Z[破綻点3]

ただし、これらの対策にはトレードオフがある。CAVEAT-Harnessでは実行時間が2.6倍、ステップ数とツール呼び出しが2.3倍に増えた。頑健性は「より広く探し、より多く検証する」ことの副作用として得られる部分が大きいため、応答時間やAPIコストの予算設計にあらかじめこの増加分を織り込んでおく必要がある。

利用者・規制側への示唆

決済ネットワークでは、KYA（Know-Your-Agent）やエージェント決済プロトコルの整備が進んでいる。これらは「誰がエージェントか」を確認する枠組みであり、決済の安全確保に欠かせない。だがCAVEATが突きつけるのは、そのさらに内側の問題だ。正体が確認され、権限も適切に委譲されたエージェントであっても、環境の利害によってユーザーにとって最良でない選択をしてしまう。したがって、「購入が完了した」ことは「正しく選べた」ことを意味しない。タスク完了率だけでなく、ユーザーの目的に照らして最適な選択ができたかを測る評価軸への転換が求められる。

よくある質問

インセンティブ不整合環境と、プロンプトインジェクションの違いは何ですか？

プロンプトインジェクションは、悪意ある指示や偽の情報をページに埋め込んでエージェントを騙そうとする、いわば「攻撃」です。これに対しインセンティブ不整合環境は、攻撃者がいるわけでも壊れているわけでもなく、環境が設計どおりに正常動作しながら、ユーザーとは異なる成果を好んでいる状態を指します。

決定的な違いは、表示される情報が嘘かどうかです。CAVEATが実装する8つの誘導手法は、価格も在庫も評価もすべて正確で、事実が歪められることはありません。変わっているのは並び順や目立ちやすさ、情報が開示されるタイミングだけです。

つまり「偽情報への防御」をどれだけ強化しても、正常に営業しているプラットフォームによる誘導は防げません。この2つは対策の方向性が異なる、別カテゴリのリスクとして扱う必要があります。

なぜ78.6%から17.3%まで落ちるのですか？タスクが難しくなっているのでは？

タスクの難易度は、両条件でまったく変わっていません。CAVEATはユーザーの要求・商品カタログ・属性・価格・在庫、そしてユーザーにとって最適な商品までを完全に同一に固定し、違うのは並び順・目立ちやすさ・情報の出るタイミングだけにしています。

このように条件を揃えた比較（マッチド条件）では、誘導なしで最適な商品を購入できた割合が78.6%、8つの誘導をすべて有効にすると17.3%でした。差は61.3ポイントで、5つのモデル系統すべてで劣化し、その低下幅は37.2〜78.9ポイントに及びます。

したがって「問題が難しくなったから失敗した」のではなく、「環境の見せ方だけで失敗した」と切り分けられます。この差分はインセンティブ起因の劣化（incentive-induced degradation）と呼ばれ、同じ能力のエージェントでも環境の利害次第で結果が大きく変わることを意味します。

高性能モデルや推論を増やせば解決しますか？

改善はしますが、解決には至りません。GPT-5.6-Solでは推論を低から高に増やすと最適購入率が51.7%から90.0%へ大きく向上し、世代の新しいモデルほど耐性も高くなります。

一方で、同じモデルが誘導なし条件で示す正答率には依然として及びません。また旧世代のモデルでは規模を大きくしても効果が現れず、GPT-5系のnano・mini・mainはいずれも0.0%のままでした。単純なパラメータ増加だけでは埋まらないギャップが残っています。

極端な例も報告されています。2,112商品・88ページを探索する大規模設定では、誘導なしで90.0%を達成したモデルが、誘導ありでは50エピソードすべてで最適な商品を購入できませんでした。能力の向上は必要条件ではあっても、十分条件ではないと考えたほうがよさそうです。

対策のCAVEAT-Harnessは何をしているのですか？

CAVEAT-Harnessは、エージェントの推論時の構造（ハーネス）に2つの仕組みを足したものです。1つは閲覧を始める前に、ユーザーの要求を必須要件と比較要件に構造化し、ユーザーが明示した優先順位だけを記録してエピソード中は固定する仕組みで、閲覧中に評価の高い商品へ引っ張られる「目的のドリフト」を防ぎます。

もう1つは購入前の検証ツールです。「探索は十分に完了したか」「比較を変えうる未解決の事実が残っていないか」を、マーケットプレイス上で得た証拠から正当化させます。探索の早期打ち切りと、表示価格と支払総額を取り違えたままのコミットの両方に効きます。

重要なのは、ベンチマークの解答や隠れたカタログ状態、誘導のメタデータを一切使わず、通常の閲覧で得られる情報だけで動く点です。その結果、大規模設定で0.0%だったGPT-5.6-Sol-highが80.0%まで改善し、プロンプト指示だけのベースライン（13.3%）を大きく上回りました。ただし実行時間は2.6倍、ステップ数は2.3倍になるというコストも伴います。

この研究はどんな場面に応用できますか？

検証の舞台はオンラインのマーケットプレイスですが、問いの本質は「環境側に利害がある委任意思決定」全般に当てはまります。金融サービスの商品提案、採用選考、情報プラットフォームの表示など、ユーザーの代わりに選ぶ主体と、選ばれる側の利害が一致しない場面は数多く存在します。

論文自身はこうした他ドメインへの方法論の拡張を今後の課題として挙げており、現時点での実証はショッピング環境に限られます。また、最適解が一意に定まる明確な目的を前提としており、選好が部分的・進化的・非一意なケースは未開拓です。

それでも「購入が完了した」ことは「正しく選べた」ことを意味しない、という評価軸そのものが持ち帰れる最大の成果です。エージェントを組み込む側は、タスク完了率とは別に「環境のインセンティブにどれだけ流されなかったか」を測る指標を用意しておく価値があります。

まとめ

CAVEATが示したのは、「環境に利害がある」という、これまでとは別種のリスクだった。同じユーザー要求、同じ商品カタログ、同じ価格と在庫、同じ最適解を用意し、変えたのは並び順・目立ちやすさ・情報の出るタイミングだけ。それにもかかわらず、ユーザーにとって最良の商品を購入できた割合は**78.6%から17.3%**へと急落した。差は61.3ポイントに及ぶ。タスクが難しくなったのではなく、環境の見せ方だけで意思決定が歪んだことを、このマッチド比較は定量的に切り分けている。

失敗の形は、分析の結果3点に集約された。

• 目的のドリフト——閲覧中に目立つ商品へ引っ張られ、ユーザーが指定していない優先順位を事実上持ち込む。
• 探索の早期打ち切り——少数の候補だけを比較し、広い探索が必要な場面でも「十分に探した」と判断してしまう。
• 未解決の証拠のままのコミット——最適商品を一度は見つけたのに、表示価格と支払総額の混同などにより比較から除外してしまう。

そして重要なのは、この診断がそのまま対策につながったことだ。3つの破綻点に対応する推論時の構造を与えるCAVEAT-Harnessは、誘導あり条件でまったく成功できなかったGPT-5.6-Sol-highを**0.0%から80.0%へと引き上げた。ベンチマークの解答や隠れたカタログ状態は使わず、通常の閲覧で得た情報だけを使っている点も見逃せない。さらにCAVEAT-27Bは、27Bクラスの小型オープンモデルでも、事後学習によって最適選択率を4.2%から22.9%**へ改善できることを示した。推論時の構造と学習の両輪で、診断で得た手順をモデルに実行させられるという実証である。

能力を上げれば解決するか、という問いへの答えも明確だ。推論を増やせば改善し（低推論51.7%→高推論90.0%）、新しい世代では規模拡大も効く。だが同じモデルの誘導なし正答率には依然として及ばず、旧世代では規模を広げても0.0%のままだった。能力向上だけでは埋まらないギャップが残る。だからこそ、委任エージェントの評価には「タスクを完了できたか」だけでなく、「環境のインセンティブにどれだけ流されないか」という軸を加えるべきである。これが本論文の最も実務的なメッセージだ。購入が完了したことは、正しく選べたことを意味しない。

参考資料

• 論文: CAVEAT: Towards Robust Computer-Use Agents in Incentive-Misaligned Environments（arXiv:2609.27273）— https://arxiv.org/abs/2609.27273 / HTML: https://arxiv.org/html/2609.27273v1
• 関連報道: Banks warn AI shopping bots raise scam, fraud and data-privacy risks（The Economic Times, 2026-09-23）— https://m.economictimes.com/tech/artificial-intelligence/banks-warn-ai-shopping-bots-raise-scam-fraud-and-data-privacy-risks/articleshow/[REDACTED].cms
• MetaのパーソナルAIエージェント「Muse」解体新書 — https://gotosocial.chinng-lab-srv.dev/meta-muse-personal-ai-agent-sentinel-security-architecture/
• Stripe Agentic Commerce Suite 概要 — https://docs.commercetools.com/agentic-commerce/ai-hub/stripe/overview
• Visa Trusted Agent: An Agentic Commerce Protocol — https://www.digitaltransactions.net/visa-launches-trusted-agent-an-agentic-commerce-protocol/
• Agentic Commerce Standards（UCP vs ACP vs AP2）— https://www.digitalapplied.com/blog/agentic-commerce-standards-ucp-acp-ap2-2026-merchant-guide
• BrowserUse（オープンソース）— https://github.com/browser-use/browser-use

関連記事

• AIエージェントに「身分証」を——KYA相互運用フレームワークとは
• AIエージェントに「使われたか」を測る——ポータルに計測層と新しい露出面を足した話
• BinanceのAgent OS、AIエージェントに実資金取引を解禁——上限のない場所