強化学習の「足し算」をやめる — トロピカル強化学習（Tropical RL）が解く構成的推論の壁

はじめに：モデルが「一度も出したことのない正解」を出せるようにする

大規模言語モデル（LLM）は、推論に必要な部品をすでに持っているのに、それらを1本の解答に組み立てられないことがある。たとえば「97−40」と「14−11」をそれぞれ単独では正しく計算できるモデルが、その2つを続けて行う (97−40)/(14−11)=19 のような問題になると、途端に失敗する。この「部品はできるのに、その合成ができない」現象を構成的推論（compositional reasoning）のギャップと呼ぶ。

現在の標準的な対策は、検証可能報酬による強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）である。正解を機械的に検証できるタスクで多数の解答をサンプリングし、検証器が通した軌跡だけを強化する。しかし報酬は、軌跡が始めから終わりまで一括で生成されて初めて与えられる。そのため途中まで正しく進んだ断片は、最後の一手で失敗した瞬間にまとめて捨てられてしまう。

本記事で扱う論文の主張は一行にまとめられる。代替となる解をまとめ上げる演算を「足し算（確率の和）」から「最大値」へ置き換えるだけで、構成的推論は劇的に改善する。これは報酬の推定方法（estimator）を改良する話ではなく、価値を計算する代数（algebra）そのものを差し替える話である。足し算で集約された価値は「どれくらいの割合で成功したか」しか語らないが、最大値で集約された価値は「どの解が実際に機能したか」を名指しできる。この一点の違いが、学習が断片を合成できるかどうかを分ける。

対象は、MBZUAIとTUMの研究者らによる論文「Tropical Reinforcement Learning」（arXiv:2610.02478、2026年10月1日投稿、cs.AI）である。本記事ではまず、なぜ期待リターンの足し算が構成的推論を壊すのかを確認し、次に「最大値」への置き換えが理論的に必然であることを見て、最後にその上に構築されたアルゴリズム TROPIC の設計と実験結果を追う。

なぜ従来の期待リターンは構成的推論に向かないのか

期待リターンは「どれだけ成功したか」しか報告しない

期待リターンとは、方策に従って行動したときに得られる報酬の平均値であり、「経路に沿って確率を掛け、代替となる行動の確率を足し合わせる」手順で計算される。決定論的な計算グラフ上では、この操作は半環（足し算と掛け算を備えた代数構造）(ℝ≥0, +, ×) の上の経路和として表される。式を展開すると、状態 s の価値 V(s) は「s から始めて検証器に受理される確率」そのものになる。

この値は「方策がどれくらいの割合で成功するか」を報告するが、「どの解が成功したか」は報告しない。構成的推論——別々の試行で得た計算の断片を組み合わせ、一度も一括では生成できなかった解を組み立てる能力——を伸ばしたいとき、この区別は決定的に重要になる。

足し算が抱える3つの弱点

• 非選択的：a+b はどの単一経路のスコアでもない。価値は「どれだけ成功したか」しか語らず、成功した特定の解を名指しできない。
• 正規化によるゼロサム：確率は合計1に正規化されるため、一方を上げると他方が下がる。検証器に一度も否定されていない検証済み解が、サンプルされないまま消えてしまう。
• 非冪等：a+a=2a であり、同じ計算を何度もサンプルするほど強く強化される。頻度バイアスが生じる。

この帰結は数値でも確認できる。ある問題で各経路の確率が (0.30, 0.30, 0, 0.40) から (0.90, 0.05, 0, 0.05) へ動くと、期待報酬は 0.60 から 0.95 へ上昇する。しかし20回のロールアウトに断片Bが少なくとも1回含まれる確率は、約99.9%（1−0.70²⁰）から約64.2%（1−0.95²⁰）へ低下する。全体の成功率は上がったのに、将来の合成に必要な断片が現れにくくなっている。

graph LR
    S0((開始 s0)) -->|断片A: 確率 a| SA((A 獲得))
    S0 -->|その他の挙動| SO((別経路))
    SA -->|続けて断片B: 確率 b| SAB([合成解 A∘B: 確率 a×b])

合成解の確率は断片の数 d について指数的に小さくなるため、一括でサンプルするのは現実的でない。

「忘れる」ことを定理が示す

価値が方策だけに依存するとき、この弱点は直観にとどまらず定理として示される。ある状態 s に行動 a・b があり、b の継続が常に成功（V=1）、a が半分成功（V=1/2）だとしよう。a だけがサンプルされて正のアドバンテージを得ると、1回の勾配ステップで π(b|s) が下がり、s の価値も連動して下がる。検証済みの継続 b は依然として残っているのに、である。b を再び得るには、b をもう一度サンプルし直すしかない。

発想の転換：足し算を「最大値」に置き換える

期待リターンによる強化学習では、経路に沿って確率を掛け合わせて各軌跡を評価し、代替となる軌跡を足し算 ⊕ でまとめ上げる。この構造のうち掛け算の側（自己回帰分解）はそのまま残し、集約演算 ⊕ だけを差し替えるのが本論文の提案である。対数スコアで見れば「経路に沿った足し算」は手つかずのままで、変わるのは経路同士のまとめ方だけになる。集約された値の意味は「成功した頻度」から「最も到達しやすい検証済み解の対数確率」へと移り替わる。

置き換え先を決める2つの要件

どの演算を ⊕ に置けばよいかは、価値に課す2つの要件から決まる。

• Certification（証明可能性）：a ⊕ b が必ず a か b のいずれかに一致すること。価値は常に、実際に検証器を通った特定の1つの計算のスコアでなければならない。
• Retention（保持性）：新しい検証済み経路を加えても、価値が下がらないこと。発見したものは蓄積され、忘却されない。

定理2：この2要件は最大値しか許さない

証明は短い。保持性から a ⊕ b ≥ max{a, b} が従い、証明可能性から a ⊕ b ∈ {a, b} が従う。両方を同時に満たす値は max{a, b} だけである。つまり集約演算は最大値に確定し、得られる代数構造は max-plus 半環 (ℝ ∪ {−∞}, max, +)——一般にトロピカル半環と呼ばれる——になる。各候補がどこで落ちるかは次の表のとおりである。

最大値がもたらす3つの性質

最大値で集約された価値は、現在の方策から「最も近い検証済みの計算」までの距離と解釈できる。この定式化は次の性質を同時に手に入れる。

• 選択的：価値は1本の経路のスコアそのものなので、バックポインタをたどれば「どの解が機能したか」を実際に復元できる。
• 冪等：max{a, a} = a である。同じ計算を何度サンプルしても価値は変わらず、頻度バイアスが生じない。
• 集合の成長に対して単調：新しい発見は候補集合を広げるだけなので、最大値は決して下がらない。

graph LR
    S((状態 s)) --> A[経路A: 検証済み]
    S --> B[経路B: 検証済み]
    A --> M{"⊕ = max"}
    B --> M
    M --> V["価値 = 最も高い検証済み経路のスコア"]

さらに分配則 c + max{a, b} = max{c + a, c + b} が成り立つため、共有状態を挟んで構成される解は「最良の接頭辞」と「最良の接尾辞」に独立に分解して選べる。断片を別々の試行から取ってきて接合する余地が、代数のレベルで用意されているわけである。

トロピカル強化学習の理論

トロピカルBellman方程式

集約演算を最大値にした上で、価値の再帰式も古典的なBellman方程式を置き換える。古典版が「代替行動の価値を足し合わせる」のに対し、トロピカル版は各ステップの報酬に方策自身の対数尤度を加えた上で最大値を取る。

Q_trop(s, a) = λ log π̄(a|s) + r(s, a) + V_trop(T(s, a))、V_trop(s) = max_a Q_trop(s, a)

λ ≥ 0 は方策の対数尤度に掛かる重みで、経路のスコアを「報酬の合計」から「報酬を含む対数確率」へ寄せる役割を持つ。この式が表しているのは、価値が**「方策が最も到達しやすい検証済み計算までの距離」**だという意味づけである。報酬 r は検証器の受理（成功なら0、失敗なら −∞）を符号化するので、最大値を取ることは「到達可能な中で最も確からしい検証済み解」を選ぶことに等しい。

境界条件は λ の値で連続的に変化する。λ = 0 とすれば古典的なBellman最適方程式（決定論的グラフ上の能力値）に一致し、λ = 1 かつ二値の検証器なら、検証済み経路に制限したViterbi復号のスコア、すなわちsoft Bellman方程式のゼロ温度極限になる。また分配則 c + max{a, b} = max{c + a, c + b} により、ある状態を挟む解は「最良の接頭辞」と「最良の接尾辞」に分けて独立に選べる。接尾辞のスコアがその状態だけに依存するよう、状態表現にステップ数を含めて計算グラフを非巡回にしておくことが前提になる。

graph LR
    A["古典Bellman: V = Σ 確率 × 価値<br/>（平均・成功頻度）"] -.置き換え.-> B["トロピカルBellman: V = max Q<br/>（最も確からしい検証済み解）"]

改善が「合成」する（定理4）

この代数の効き目が最もはっきり出るのが、方策改善の伝播である。いま最良の検証済み経路 τ* が見つかったとし、その経路に沿って1回だけ勾配ステップを適用する。このとき次が成り立つ。

1. グラフ内のすべての状態 s で V(s) は下がらない。
2. s の最良経路が τ* 上の状態 u を通るなら、s は u で得られた利得を減衰なしでそのまま受け継ぐ。

注目すべきは、s が τ* の上に無くてもよく、訓練中に一度も訪れていない状態でもよい点である。たとえば Sokoban で「箱を正しい位置まで運ぶ接頭辞」と「そこから押し切る接尾辞」が別々のロールアウトで得られていた場合、両者が共有状態 u で出会えば、接尾辞側の利得が接頭辞側の全状態へ全額伝播する。これが「一度も一括でサンプルされなかった解」が組み上がる仕組みである。

この保証を支えているのは最大値の盲目性である。最良経路が使わない行動の確率が下がっても、どの状態の価値にも損失が見えない。足し算では正規化のゼロサム効果でその損失が必ず表面化するのに対し、最大値は「使われなかった選択肢」を無視する。ただしLLMはパラメータを全状態で共有するため、この保証は他タスクとの干渉の分だけ緩和される点には注意が必要である。

性能差補題と方策勾配

古典的な性能差補題は、新方策の軌跡分布に関する期待値として書かれる。トロピカル版はこれが1本の経路の上の和に変わる（定理14）。方策勾配への影響も同様にドラスティックで、古典的勾配が「訪問確率 d^π(s) × π(a|s) × アドバンテージ A(s,a)」の3因子の積であるのに対し、トロピカル方策勾配は訪問確率の重みを持たず、最良経路上の各ステップの重みは1に固定される（系3）。

この差は、稀な経路を取り戻すコストの形で現れる。各ステップの確率が ρ 程度の長さ d の解を学習で引き上げる場合、期待リターンの勾配は ρ^d のオーダーまで薄まる。トロピカルでは経路がどれほど稀でも重みはオーダー1のままだ。連鎖構造上の分離を示した定理15 では、期待リターンが脱出に ρ^{−d} オーダーの反復を要するのに対し、トロピカルは log(1/ρ) のオーダーで到達できると示されている。断片を1回ずつ「発見」して記憶すれば済むか、発見した断片が出現するたびに指数的な待ち時間を払うか——この違いが、構成的推論を学習可能にするか否かを分けている。

アルゴリズム：TROPIC

理論を実際の訓練手続きに落とし込んだものが TROPIC である。対象は、環境が決定論的でリセット可能、かつ結果を検証器が判定できるタイプのエージェント的タスクに限定される。ここでは4つの構成要素——目的関数、接頭辞・接尾辞の価値計算、メモリの成長、そして損失——を順に見ていく。

目的関数とメモリ

TROPIC が最大化するのは、期待リターンではなく「各問題の最良の検証済み解の対数尤度」である。

J_trop(θ) = E_x[ max_{τ ∈ Y⁺} log P_θ(τ | x) ]

x は問題、Y⁺ はその問題で検証器に受理された完全な経路の集合を表す。外側が問題についての期待値、内側が最大値になっている点が本質で、これにより「平均的にどれだけ成功したか」ではなく「最も確からしい正解」が押し上げられる。

学習の材料は、問題ごとに保持されるメモリ（グラフ）である。ノードは環境の状態（ステップ数を含めて非巡回化したもの）、辺はこれまでに見たすべての有効なステップであり、失敗した試行に含まれていたステップも除外されない。さらに、開始状態から再生して検証器が受理した完全な経路をアーカイブとして別に保持する。各反復の冒頭で方策をいったん凍結し、保存済みのステップを現在の方策で再スコアリングすることで、価値計算を古い確率のまま使わずに済ませている。

接頭辞・接尾辞の価値計算

メモリ上では、価値を後ろ向きと前向きの2つの量に分解して計算する。

• V（後向き）：その状態から計算を「終えられる」しやすさ。検証済みの終端から逆向きに伝播させる。
• F（前向き）：その状態に「到達できる」しやすさ。開始状態から順向きに伝播させる。

ある状態 s を通る最良の検証済み解のスコアは、両者の和 F(s) + V(s) で与えられる。この分解は分配則 c + max{a, b} = max{c + a, c + b} に支えられており、「入口側で良い道」と「出口側で良い道」を独立に選んでから接合できることを意味する。実際、接頭辞の良さと接尾辞の良さが同じ状態の上で足し合わされるため、どちらか一方しか見つかっていない状態は、それ単体では高い価値を持たない。

メモリの成長：サンプリングと合成

メモリは2つの操作で成長する。第一がサンプリングである。各問題に対し、G グループ × n 回（既定では G=2、n=8）の試行を行う。最初のグループは初期状態から開始するが、2グループ目以降はフロンティア状態——到達はできるが終えられない状態——から再開する。開始状態の選択では、まだ試していない深さを優先しつつ、到達しやすく試行回数の少ない状態が選ばれる。

第二が合成で、こちらが決定的に効く。入り口と出口の両方を持つ状態を見つけ、その状態に至る上位 L 個（既定 L=4）の接頭辞と、そこから先の上位 L 個の接尾辞を接合し、実際に再生して検証器に問い合わせる。受理された接合はアーカイブに加わる。断片はそれぞれ別のロールアウト——多くの場合、片方は失敗している——由来でよい。ここが「端から端まで一度も生成できなかった解」を取り出す仕組みである。

graph TD
    P["問題 x（初期状態）"] --> S1["グループ1: 初期状態から n=8 試行"]
    S1 --> M["メモリ（有効な全ステップを辺として保持）"]
    M --> FR["フロンティア状態を特定<br/>（到達できるが終えられない）"]
    FR --> S2["グループ2以降: フロンティアから再開"]
    S2 --> M
    M --> C["合成: 上位 L=4 の接頭辞 × L=4 の接尾辞を接合"]
    C --> V["再生して検証器で判定"]
    V -->|受理| A["アーカイブに追加"]
    V -->|棄却| M
    A --> L["訓練: 損失 = 選択経路のトークンあたり対数尤度"]
    L --> M

訓練

訓練に使う経路は、各問題のアーカイブから最大 K 本（既定 K=2）を選ぶ。1本目はスコアが最良の経路、残りはカバレッジスコア——滅多に訓練されていないステップをどれだけ含むか——で選ばれる。これは、方策の更新が別の問題の検証済み経路を弱めてしまう干渉を緩和するための工夫である。

損失はきわめて単純で、選んだ経路のトークンあたり対数尤度をそのまま最大化する。

L(θ) = − Σ_τ Σ_t log P_θ(τ_t | τ_{<t}, x)

報酬による再重み付けも、アドバンテージのベースラインも、「負けた経路を押し下げる」項も存在しない。成功した経路を押し上げるだけで、失敗した試行の断片もメモリに残り続けるため、後の合成で部品として再利用される。主要な設定値は次のとおりである。

この設計では、探索（フロンティアからの再開）、再利用（失敗ステップも含むメモリ）、合成（接頭辞と接尾辞の接合）、そして単純な対数尤度損失という4つが噛み合って、「一度も一括では生成できなかった解」を徐々に獲得していく。

実験結果

理論が実際のLLM訓練でどれだけ効くかは、4つのエージェント的タスクで検証されている。いずれも決定論的でリセット可能、かつ結果を検証器が判定できる環境であり、トロピカル強化学習の前提条件を満たす。モデルは Qwen2.5-3B-Instruct と Gemma 4 E4B-it の2種類で、完全ファインチューニングを行っている。

4つのエージェント的タスク

タスクはそれぞれ、構成的推論の異なる側面を突くように選ばれている。

• Sokoban（6×6）：箱をゴールへ押すパズル。押し戻せない不可逆な袋小路が存在するため、途中まで正しく進んだ「良い接頭辞」を捨てずに再利用できるかが効いてくる。
• Countdown（3〜6個の数）：与えられた数と四則演算で目標値を作る。たとえば (97−40)÷(14−11)=19 のように、正解が多数存在し、別々の試行で得た中間結果を組み替えられるかが鍵になる。
• FrozenLake（4×4）：穴を避けてゴールへ到達する。1回のミスでエピソードが終了し報酬は疎なため、安全な手順の接頭辞を保持することが重要になる。
• WebShop：検索・遷移・属性選択を組み合わせる長期の買い物タスク。最終的な購入結果しか報われない遅延フィードバックの下で、部分的な操作列を合成できるかが問われる。

ベースラインと結果

比較対象は PPO、GRPO、DAPO、そして RAGEN-2 の SNR-Aware という、いずれも最強クラスの on-policy 手法である。評価は512問の未見ホールドアウトで、温度0.5・top-p=1、3つの訓練シードの平均で行われる。注目すべきは、評価時にアーカイブ・フロンティアからの再開・合成を一切使わない点で、1回の試行だけで解かせる。すなわち測定しているのは、訓練中に獲得した合成能力がモデルの重みに転写されたかどうかである。

TROPIC は全タスク・両モデルで最高の成功率を達成した。最大の改善幅は Sokoban で、SNR-Aware に対して Qwen では16.2ポイント、Gemma では6.6ポイント上回る。不可逆な失敗を伴うタスクほど、失敗試行の断片まで保持して組み立てる効果が大きいことがうかがえる。生成トークン数はベースラインと同等以下で、訓練時間も多くの設定で最短だった。

アブレーション：改善の主因は「合成」

どの構成要素が効いているかを切り分けた結果が次である（Sokoban・Qwen、成功率）。

合成を切ると 58.4% から 40.8% へ落ち、最強ベースライン並みに後退する。これが改善の主因が合成であることを示している。フロンティア再開を除いた Root-Only でも 51.8% まで下がるため、探索の起点を広げる効果も独立に効いている。また、失敗軌道の断片を排除した Successful-Only が 53.3% にとどまることから、失敗した試行に含まれるステップこそが有用な部品であることが裏付けられる。

この効果を測る指標が First-Solve、すなわち解けた問題のうち一括でサンプリングされる前に合成によって初めて解かれた問題の割合である。Full TROPIC では 31.6% に達し、Root-Only では 24.7%、合成を切った設定では 0 になる。3割超の問題が、フラグメントを接合しなければ決して見つからなかったことを意味する。

graph TD
    T["訓練: メモリ + 合成でアーカイブを拡張"] --> W["重みへ転写"]
    W --> E["評価: 合成・再開を使わず1回の試行で解く<br/>（512問ホールドアウト・温度0.5・3シード平均）"]
    E --> R["成功率: 全4タスク・両モデルで最高"]
    T -.->|合成を無効化| A["40.8%（最強ベースライン並み）"]

この手法がもたらす革新性と限界

革新性：価値が「計算」を指し示す

これまでの強化学習では、学習の目的関数を「何に向かって方策を引っ張るか」という設計判断として捉え、その設計を報酬の整形やアドバンテージの推定誤差の抑制で実現しようとしてきた。トロピカル強化学習の貢献は、この設計判断を代数の選択として整理し直した点にある。期待リターン・最尤・最大値という3つの目的は、いずれも「方策が、検証器に認定された計算の集合からどれだけ離れているか」という単一の距離の見方で書き分けられる。

表の3行目が示すように、トロピカルな定式化が目指すのは「複数の解を確率で混ぜた混合物」ではなく「1本の具体的な経路」である。だからこそ価値は経路を名指しでき、バックポインタで復元でき、共有状態で最良の接頭辞と最良の接尾辞を独立に選べる。実務上の帰結も大きい。期待リターンの勾配は各ステップの確率 ρ に対して ρ^d のオーダーでしか効かないが、トロピカルな勾配は最良経路上で各ステップの重みが1になる。狭い確率の谷を掘り抜く必要がなく、log(1/ρ) のオーダーで到達できる。これは「稀な正解をどう強化するか」という問いへの、推定量の改善とは別の答え方である。

限界：保証されるのは「記憶」であって「重み」ではない

理論が与える保証の射程は、しばしば期待されるより狭い。保持性の単調性が保証するのは、アーカイブ（記憶）とその認定能力が縮まないことだけである。検証済み経路を一度見つければ記録から失われないし、そこから組み立てられる解の集合も広がる一方だ。しかしLLMはパラメータを多数の状態・問題で共有しているため、ある問題への勾配更新が、別の問題の検証済み経路の対数尤度を下げてしまう可能性は残る。滅多に訓練されないステップを復習するカバレッジ経路はこの干渉を緩和するが、あくまでヒューリスティックであり、証明された保証ではない。

graph LR
    A["検証済み経路を発見"] --> B["アーカイブ（記憶）へ追加"]
    B --> C["アーカイブは単調に成長<br/>（証明された保証）"]
    B --> D["方策のパラメータ更新"]
    D --> E["共有重みへの転写"]
    E --> F["他問題の検証済み経路の<br/>尤度が下がりうる（保証なし）"]
    G["カバレッジ経路で復習"] -.->|緩和するがヒューリスティック| F

評価の設計もこの限界を意識したものになっている。未見ホールドアウトの評価ではアーカイブ・フロンティアからの再開・合成を一切使わず、1回の試行で解かせる。測定しているのは、訓練中の探索で得た能力のうち、どれだけが重みに転写されたかである。裏を返せば、探索と合成を許せば解ける問題のすべてが、重みだけでも解けるようになったわけではない。

今後の方向として示されるのは、検証済み能力を一度獲得したら保持し再利用し続ける「継続的自己改善」である。記憶としての記録は確実に積み上がる。その記録を、規模を広げても共有重みへ干渉なく転写できるか——ここが未解決の中心課題として残されている。

まとめ

期待リターンは「モデルがどれくらい頻繁に成功するか」を報告するが、「どの解が実際に成功したか」という情報を捨ててしまう。構成的推論、すなわち別々の試行で得た断片を1本の推論に接合する能力を扱ううえで、この区別は本質的である。確率が合計1に正規化されている限り、ある解を強化すると別の解の確率は下がり、検証器に一度も否定されていないのにサンプルされないまま消えていく経路が生まれる。

トロピカル強化学習が変えたのは、代替解をまとめる演算そのものである。経路に沿って確率を掛ける部分（対数スコアの足し算）は自己回帰分解としてそのまま残し、集約を足し算から最大値へ置き換えるだけで、価値は抽象的な成功率ではなく具体的な1本の検証済み経路を名指しするようになる。同じ計算を再発見しても値は変わらず（冪等）、新しい検証済み経路を加えても価値は下がらない。この単調性と選択性があるからこそ、共有状態で最良の接頭辞と最良の接尾辞を独立に選び、異なるロールアウト由来の断片同士を接合できる。

この性質をアルゴリズムに落とし込んだ TROPIC は、失敗した試行のステップも含むグラフを保持し、到達できるが終えられないフロンティア状態からの再開と、接頭辞・接尾辞の合成によって、端から端まで一度もサンプルされなかった検証済み解を組み立てる。4つのエージェント的タスクでは、いずれも最強の on-policy ベースラインを上回った。

改善の主因が合成にあることも、アブレーションではっきりしている。合成を無効化すると Sokoban の成功率は 58.4% から 40.8% まで落ち、最強ベースライン並みに後退する。逆にフル構成では、解けた問題のうち 31.6% が、一度も一括でサンプルされる前に合成によって初めて解かれていた。

留保も忘れてはならない。保証されるのは「アーカイブ（記憶）とその認定能力が縮まない」ことであり、「モデルの重みが決して忘れない」ことではない。LLMはパラメータを共有するため、ある問題への更新が別の問題の検証済み経路の尤度を下げうる。この干渉を緩和するカバレッジ経路はヒューリスティックであって、証明された保証ではない。

この研究の核心は、推定量ではなく代数を変えた点にある。自己改善するモデルにとって次の課題は、「検証したものを保持し、古い断片から新しい解を組み立てる」能力を、スケールにおいても共有重みへ干渉なく転写できるかどうかである。

よくある質問

トロピカル強化学習は普通の強化学習と何が違うのですか？

本質的な違いは、代替の軌跡をまとめる演算を「足し算」から「最大値」に変える点にあります。経路に沿って確率を掛け合わせる部分（対数スコアの足し算）は自己回帰分解としてそのまま残し、複数の選択肢を集約する演算だけを max に置き換えます。すると価値は「どれくらいの割合で成功するか」ではなく「最も到達しやすい検証済み解はどれか」を指し示すようになり、その解の経路をバックポインタで復元できるようになります。この構造は max-plus（トロピカル）半環と呼ばれ、変更されたのは推定量ではなく代数そのものです。

なぜ「最大値」でなければならないのですか？

「価値は必ずどれか1つの検証済み経路のスコアである（証明可能性）」と「新しい検証済み経路を見つけても価値は下がらない（保持性）」という2つの要件を課すと、集約演算は数学的に最大値しかありえないことが示されます（定理2）。保持性から a⊕b は max{a,b} 以上、証明可能性から a⊕b は a か b のどちらかでなければならないため、両者を同時に満たす値は max{a,b} に確定します。足し算や log-sum-exp は保持性を満たすものの証明可能性を満たさず、最小値はその逆で保持性を満たしません。

期待リターンを最大化する普通のRLだと何が問題なのですか？

確率は合計1に正規化されているため、ある解を強化すると別の解の確率が自動的に下がります。その結果、検証器に一度も否定されていない検証済み解が、サンプルされないまま消えてしまうことがあります（命題1）。さらに期待リターンは「どれだけ成功したか」しか報告せず、「どの解が成功したか」を区別できないため、合成が必要な構成的推論には向きません。

TROPICはどうやって「一度も一括で生成できなかった解」を見つけるのですか？

各問題について、失敗した試行も含めたすべての有効なステップをグラフとして保持します。到達できるが終えられない「フロンティア」状態から新しい試行を再開し、さらに同じ状態に入り口と出口の両方がある場合は、別々のロールアウトから来た接頭辞と接尾辞を接合して再生・検証します。検証器が受理した接合はアーカイブに登録され、端から端まで一度もサンプルされなかった解がこの仕組みで組み上がります。

実験ではどのくらい改善しましたか？

Sokoban・Countdown・FrozenLake・WebShop の4タスクで、Qwen2.5-3B-Instruct と Gemma 4 E4B-it の両方において全タスクで最高の成功率を達成しました。最大の改善は Sokoban で、最強ベースラインの SNR-Aware を Qwen で16.2ポイント、Gemma で6.6ポイント上回っています。生成トークン数は同等以下で、訓練時間も多くの設定で短縮されました。

この手法の限界は何ですか？

保証されるのは「アーカイブ（記憶）とその認定能力が縮まない」ことであり、「モデルの重みが決して忘れない」ことではありません。LLMはパラメータを状態間で共有するため、ある問題への更新が別の問題の検証済み経路の尤度を下げる可能性が残ります。この干渉を緩和するカバレッジ経路はヒューリスティックであり、証明された保証ではありません。

参考資料

• Tropical Reinforcement Learning — https://arxiv.org/abs/2610.02478 （HTML: https://arxiv.org/html/2610.02478v1）
• Maximum Likelihood Reinforcement Learning (MaxRL), Tajwar et al., 2026 — https://arxiv.org/abs/2602.02710
• Group-in-Group Policy Optimization (GiGPO), Feng et al., 2025 — https://arxiv.org/abs/2505.10978
• Reason in Chains, Learn in Trees (T-STAR), Li et al., ACL 2026 — https://arxiv.org/abs/2604.07165
• DAPO, Yu et al., 2025 — https://arxiv.org/abs/2503.14476
• GRPO / DeepSeekMath, Shao et al., 2024 — https://arxiv.org/abs/2402.03300
• PPO, Schulman et al., 2017 — https://arxiv.org/abs/1707.06347
• RAGEN-2: Reasoning Collapse in Agentic RL, Wang et al., 2026 — https://arxiv.org/abs/2604.06268

関連記事

• Batched Contextual Reinforcement: A Task-Scaling Law for Efficient Reasoning