RLVRの「ゼロ利得の罠」を脱出する——MagicBeanStalkが示す合成データ設計の新原則

RLVRとは何か、なぜデータが問題になるのか

RLVR（Reinforcement Learning with Verifiable Rewards、検証可能な報酬による強化学習）とは、数学やコーディングのように正解を機械的に検証できるタスクで、正解なら1・不正解なら0という二値の報酬を与え、LLMの推論能力を鍛えるポストトレーニング手法である。人手による評価が不要なため報酬設計が安定し、GRPO（Group Relative Policy Optimization）をはじめとする効率的なアルゴリズムと組み合わせて、近年の推論モデルの中核技術となっている。

ここで登場する用語を先に整理しておく。ポリシーとは学習対象のモデルそのもの、つまり「入力に対してどう応答するか」を決める方針である。ロールアウト（rollout）は、ある問題に対してポリシーが1本の回答を生成すること。ロールアウト予算は1本の回答に許すトークン数の上限、ロールアウトグループは同じ問題に対して生成した複数本の回答のまとまりを指す。GRPOは後者を単位として、グループ内での相対的な優劣から学習信号を作り出す。

こうした手法が広まる一方で、性能向上のボトルネックは「アルゴリズム」から「データ」へと移りつつある。人間が書いた高品質な問題は枯渇し、手作りの手続き的環境（procedural environment）は扱えるドメインが限られ、生成される問題も表面形だけが違う類似品になりがちだ。そこで「データを増やせばモデルは強くなる」という素朴な発想が生まれるが、本稿で扱う研究はこの前提に根本的な疑問を突きつける。

flowchart LR
    A[問題コーパス] --> B[ポリシーがN本のロールアウトを生成]
    B --> C{グループ内の報酬}
    C -->|一部成功・一部失敗| D[学習信号あり]
    C -->|全成功 または 全失敗| E[学習信号ゼロ]

つまり、RLVRの成否を分けるのはデータの「量」ではなく、そのデータがポリシーにとって学習可能な難易度に収まっているかどうかである。次節では、大量のデータが実際にはほとんど学習に寄与していない「ゼロ利得の罠」の実態を見ていく。

「ゼロ利得の罠」とは——88%のデータが学習に効かない

RLVRの学習信号は、同じ問題に対して生成した複数本のロールアウト（回答）の報酬を比較することで生まれる。GRPOでは、グループ内の報酬の平均を基準に、各回答の相対的な優劣をアドバンテージ（advantage）として計算する。このとき、グループ内の全回答が正解（全成功）、あるいは全回答が不正解（全滅）だと、全回答のアドバンテージがゼロになり、そのグループからは勾配が一切流れない。これをゼロアドバンテージ（zero advantage）、あるいは「ゼロ利得の罠」と呼ぶ。

問題は、これが例外的な状況ではなく、実データの大半を占めるという点にある。DAPO-Math-17K、Skywork-OR1-RL-Data、Turing Open-RL、StackMathQA といった主要なオープンソース数学コーパスを統合した約78,000問を、あるポリシーで32Kトークン予算・8ロールアウトで評価した実測では、学習信号を生む「Goldilocks帯（一部成功・一部失敗）」に入ったのはわずか12.2%だった。残りの約88%は罠に落ちている。内訳を見ると、大半が「毎回解ける（stale／mastered）」問題で、本来の難問にあたる「毎回失敗」はわずか6.3%にすぎない。つまり大規模コーパスは、学習に寄与しない易しすぎる問題で薄められている。

flowchart LR
    A[大規模コーパス 78K問] --> B[ポリシーが8ロールアウト生成]
    B --> C{成功率で3分類}
    C -->|8/8 全成功| D[stale: 信号ゼロ]
    C -->|1〜7/8| E[Goldilocks: 学習信号あり 12.2%]
    C -->|0/8 全失敗| F[hard: 信号ゼロ 6.3%]

では、罠に落ちた問題を捨てればよいのか。実は「選別」自体は有効である。Goldilocks帯だけを抜き出した862問、さらに「予算内可解性」まで満たす696問は、分布を保って約7,000問に水増しした代理セットより、はるかに少ない問題数で高い精度を達成する。問題は、この引き算のアプローチでは捨てた難問から何も生まれないことだ。易しい問題を除いても、コーパスにもともと存在しない「ちょうどよい難易度」の問題が新たに増えるわけではない。次節では、この限界を踏まえ、難易度が問題そのものではなくポリシーと予算の関数であることを見ていく。

難易度は「問題」ではなく「ポリシーと予算」の関数である

「この問題は難しい」という言い方を私たちはよくするが、RLVRの学習信号という観点では、難易度は問題そのものに備わった属性ではない。ある問題がGoldilocks帯（一部成功・一部失敗で学習信号を生む状態）に入るかどうかは、問題・対象ポリシー・ロールアウト予算の三つ組（p, π, L）に依存して決まる。ここでポリシーとは学習対象のモデル、ロールアウト予算とは1本の回答に許すトークン数の上限を指す。同じ問題でも、誰が・どれだけの余裕をもって解くかによって、学習に効くかどうかが変わってしまうのである。

第一の依存先はポリシーだ。同一の問題集合を、対象ポリシーを差し替えて再評価すると、32.3%の問題が「ゼロ成功」「Goldilocks」「完全成功」の間を行き来する。つまり前節で見た「88%は学習に効かない」という分類は、ある特定のポリシーにとっての分類にすぎず、モデルが変われば同じコーパスの有効率も変わる。

第二の依存先は予算である。レスポンス上限を16Kから64Kへ増やすと、「毎回失敗（hard）」に分類される問題の割合は33.1%から10.6%へ減少した。これは、予算不足で打ち切られた応答が「モデルに能力がない」ことを意味しないという重要な事実を示している。長い推論を書けば到達できる問題を、短い上限のせいで全滅と誤判定していただけかもしれないのだ。

こうした揺らぎを踏まえると、「クリーンな学習信号」の条件も定義し直す必要がある。本稿で扱う研究は、少なくとも1本の正解ロールアウトがロールアウト上限に達せず正常終了していることを in-budget solvability（予算内可解性） と呼び、これを満たす問題だけを有効な学習データとして採用する。打ち切りで失敗したのか、本当に解けなかったのかを区別することで、予算の副作用をデータ選別から排除できる。

flowchart TB
    P[問題 p] --> J{ポリシー π と<br/>予算 L の下で評価}
    J --> Z[ゼロ成功: 学習信号なし]
    J --> G[Goldilocks: 学習信号あり]
    J --> S[完全成功: 学習信号なし]
    PI[ポリシー変更] -.-> J
    L[予算 16K→64K] -.-> J

この視点が重要なのは、難易度を「問題に固定された値」とみなす限り、データ選別は静的な仕分け作業に留まるからだ。難易度がポリシーと予算の関数であるなら、狙った難易度帯に問題を持ち込むという発想が生まれる。次節では、成功率ゼロの難問を捨てずに「設計図」として活かす考え方を見ていく。

難しい問題は「捨てるもの」ではなく「設計図」である

前節で見たとおり、成功率ゼロの問題はグループ相対アドバンテージを生まない。だからこそ素朴な発想では「学習に使えない問題は捨てる」ことになる。しかし本稿で扱う研究は、この結論を逆転させる。成功率ゼロの難問は直接の報酬信号こそ与えないが、その検証済みの解法は、対象ポリシーに欠けている推論能力を具体的に示している。捨てるべきノイズではなく、これから作るべき問題の設計図として読めるのである。

ここで reasoning blueprint（推論の設計図） とは、検証済み解法が露わにする本質的な推論操作と、それらがどう合成されているかの構造を指す。単なる答えの手順ではなく「どの能力を、どの順序で組み合わせれば解けるか」という骨格だ。もう一つの鍵となる verified hard problem（検証済みの難しい問題） は、成功率がゼロで、かつ全てのサンプル応答がロールアウト上限に達せず正常終了している問題と定義される。終了条件を課すことで、その失敗が予算切れによるものではなく、能力不足によるものだと担保できる。

この考え方を実証した実験がある。98個の数学難問シードに対し、複数のフロンティアモデルから検証済みの解法を取得した。単一の最強教師では59/98しか解けず、モデルをプールして初めて全シードをカバーできる点も重要である。次に、各シードについて設計図の操作を一部だけ含む簡単な部分問題を1つ生成し、その解法をin-context例として与えた。結果として、78/98（79.6%）のシードで対象ポリシーが少なくとも1本正解できるようになり、元問題の平均精度は0%から46.9%へ上昇した。難問は、能力の外側にある操作を切り出して足場を架ければ、実際に解けるようになる。

さらに、設計図は教師モデルの癖ではなく問題の構造を反映している。異なる教師モデルで得た設計図が同一または互換になる割合は90.7%に達した。誰が解いても同じ骨格が見えるなら、それは問題固有の推論構造だとみなせる。

flowchart LR
    A[難問シード<br/>成功率0] --> B[検証済み解法を取得<br/>教師プール]
    B --> C[設計図を抽出<br/>推論操作と合成]
    C --> D[設計図の一部を含む<br/>簡単な部分問題を生成]
    D --> E[解法をin-context例として提示]
    E --> F[元問題の成功率上昇<br/>0% → 46.9%]

この流れが意味するのは、難問を活かす道は「解けるようになるまで待つ」ことでも「棄却する」ことでもないという点だ。欠けている推論操作を設計図として取り出し、難易度を下げた足場で橋を架ける。次節では、この考え方を実際の合成パイプラインに落とし込む際、単純な「教師による変形」がなぜ力不足なのかを見ていく。

素朴な「教師による変形」ではなぜ不十分なのか

前節の知見を素直に実装すると、次のような手順になる。難問シードとその検証済み解法を強い教師モデルに渡し、それを土台にした変形問題を大量に生成させ、生成物を正解検証にかけて通ったものだけを採用する。この seed synthesis（シード合成） は直感的で実装も容易であり、多くの既存手法が採ってきた素朴なベースラインである。ところが、同じシード集団で比較すると、この方法は期待に応えない。

シードのみで学習した場合のスコア65.3に対し、seed synthesisは63.9と、わずかに下回った（4コアベンチマーク平均）。変形は元の解法が持つテクニックを保ってはいるが、多くは「浅い変種」に留まる。1シードあたりの有効問題数は1未満であり、MBSの計算予算に合わせて候補をオーバーサンプリングしても、新規性のギャップは埋まらない。

原因は二つある。第一に、生成された変形は問題の表面的な言い換えや数値の置換で終わりやすく、実質的に新しい問題になっていない。第二に、事後フィルタリングは引き算でしかない。浅い変種を本物の新問題に作り変えることも、そもそも候補を1つも生まなかったシードを救うこともできない。棄却サンプリングは品質を選別するが、生成の質そのものを底上げしないのである。

この差は、3条件——設計図の保持、新規性、Goldilocks帯（一部成功・一部失敗）——をどこまで同時に満たせるかで数値に表れる。1〜5点の審査基準で評価した結果は次のとおりだ。

候補数を増やせば保持とGoldilocksの割合は上がるが、新規性と3条件同時達成は限界的にしか改善しない。一方、後述する分解・再合成の手法は、同じ候補数で3条件同時達成を28件と大きく引き上げる。鍵は「生成した後で選別する」のではなく、設計図を保ったまま新しい問題を設計段階で組み立てる点にある。

MagicBeanStalkの仕組み：上から分解し、下から再合成する

MagicBeanStalk（MBS）は、検証済み難問を「捨てる対象」ではなく「設計図の源」として使い、トップダウンの分解とボトムアップの再合成を組み合わせて、対象ポリシーと予算に校正された学習問題を生み出すパイプラインである。ここでいう設計図（reasoning blueprint）とは、検証済み解法が露わにする本質的な推論操作と、それらがどう組み合わされているかを指す。MBSはこの設計図を保ったまま、問題の難易度だけを対象ポリシーの学習に最適な帯域へ調整する。

ステップ1：棄却サンプリングによる教師トレースの取得

まず、成功率がゼロの難問シードに対して、複数の教師モデル（Gemini 3 Flash、Claude Opus 4.6、DeepSeek V4 Pro、GPT 5.2、Kimi K2.6 など）から検証済みの推論トレースを集め、分解木の根ノードに格納する。単一の最強教師でも解けない問題があるため、プールで取りにいくと解ける率が上がる。実際、単一教師でのシードカバレッジ63.0%に対し、呼び出し回数を揃えたプールでは71.5%まで改善する。

ステップ2：トップダウンの問題分解と「有効性テスト」

次に教師へ親問題のスキルを特定させ、K≤3個の易しい自己完結型の部分問題を、答えと解法付きで生成する。各部分問題も検証にかける。ここで重要なのが有効性テストである。最も弱い学生から順に評価し、子問題とその解法を文脈内の例として与えたときに親問題の精度が上がるかを確認する。上がらなければ分解を最大3回やり直し、役立たない分解は棄却する。アブレーションでは、教師の自己検証だけで残った22件の分解が、有効性テストを通すと6件まで絞られ、無駄な分解が除去される。木の深さは最大3である。

ステップ3：葉の難化とボトムアップ合成

得られた各葉について、より難しい変種を生成する。このとき「より難しい」と明示的に要求することが有効で、通常の変種が10問中1問しか有効でなかったのに対し、難化変種は3問が有効だった。ただし弱い学生の精度が閾値（0.8）を超えるものは棄却し、最大3回再試行する。

続いて、子問題から親問題を再帰的に組み立て、元の親子関係が持つ論理構造（難易度と抽象度）を模倣させる。合成した親は棄却サンプリングで検証し、弱い学生の精度が高すぎるもの——閾値0.625を超えるもの——は棄却する。この「高すぎるものを捨てる」処理が、易しくなりすぎた合成問題をGoldilocks帯へ引き戻す役割を果たす。

文書接地型のタスクでは、シードの文書要約に似た未見文書を検索し、新しいスニペットとエンティティに合成木を再接地する。このときシード文書の事実を持ち込まない制約を課すことで、丸暗記ではなく文書を読んで推論する問題になる。

最終的に、対象ポリシーのGoldilocks帯（一部成功・一部失敗）にあり、かつ予算内可解性——少なくとも1本の正解ロールアウトがロールアウト上限に達せず正常終了していること——を満たす問題だけを採用する。

flowchart TD
    R["根：検証済み難問シード"] -->|分解| C1["子問題 1"]
    R -->|分解| C2["子問題 2"]
    C1 --> L1["葉：部分問題"]
    C2 --> L2["葉：部分問題"]
    L1 -->|難化| L1h["難化した葉"]
    L2 -->|難化| L2h["難化した葉"]
    L1h -->|再合成| S1["合成された親"]
    L2h -->|再合成| S1
    S1 -->|再合成| SR["合成された根"]
    SR --> F{"Goldilocks帯かつ<br/>予算内可解性を満たすか"}
    F -->|はい| OK["学習データとして採用"]
    F -->|いいえ| NG["棄却・再試行"]

分解は根から葉へ下向きに進み、合成は葉から根へ上向きに進む。この往復によって、元の難問が持つ推論操作の設計図を保ちながら、対象ポリシーがちょうど学習できる難易度の問題が作られる。約1,250の難問シードからMBSは3,370の子孫を生成し、74.7%のシードが有効問題を生み出した。これはseed synthesisの43.8%を大きく上回る。

実験結果：何がどれだけ改善したのか

MagicBeanStalk（MBS）が実際にどれだけ効いたのかを、数値で確認する。評価の中心は、約78,000問のオープンソース数学コーパスを出発点としたオフラインRLVR実験である。ここでは8つの数学ベンチマーク（AIME 24/25、AMC、HMMT-F/N、Minerva、Olympiad、Omega-500）の平均スコアを、16Kのロールアウト予算で比較している。ロールアウト予算とは、モデルが1問あたりに生成できるトークン数の上限のことだ。

最大の比較ポイントは、MBSが生み出した学習データと、既存のアプローチの差である。対象ポリシーである gpt-oss-120b は61.2から69.8へ改善し、+8.6ポイントを記録した。これを他手法と並べると次のようになる。

同じMBSデータを別のポリシーへ転移すると、DeepSeek v4 Flash は72.4から77.9へ上昇し、+5.4ポイントを確保した。データがモデル固有ではなく、ポリシーをまたいで機能することを示している。

flowchart LR
    A["全78Kコーパス<br/>+1.1"] --> B["Golden Goose<br/>+1.9"]
    B --> C["in-budget Goldilocks<br/>+5.8"]
    C --> D["seed synthesis<br/>+5.6"]
    D --> E["MagicBeanStalk<br/>+8.6"]

歩留まりも大きく異なる。約1,250の難問シード（成功率0/8）から、MBSは3,370の子孫問題を生成し、有効な問題を生み出せたシードの割合は74.7%に達した。seed synthesisの43.8%と比べて約1.7倍である。生成した問題が単に量産されているだけでなく、学習信号になる割合が高いことを意味する。

さらに、元の難問シードそのものへの回復も確認できる。MBSで学習した後、25.0%のシードで正解ロールアウトが戻り、14シードは完全に解けるようになった。seed synthesisは23.2%・6シードだったので、MBSの方が「捨てた難問を実際に取り返す」力が強い。

学習時の予算を超えた推論時にも、MBSの優位は保たれる。学習を超える24K・32K予算でもMBSはベースを上回り続け（+1.0、+1.5）、特に難関のMathArena Apexでは16K/24K/32Kで+11.0/+13.3/+10.9を記録した。難問を分解・再合成して鍛えた効果が、より長い推論でも現れている。

応用範囲も広い。ファイナンスでは、340問の専門家シードから14,000を超える検証可能問題を合成し、Qwen3-4BがSecQueで+6.9、FinanceBenchで+2.4を改善した。データ品質については、3つのフロンティアモデルによる審査で、数学では8.0%のみが全員却下、ファイナンスでは全員却下がゼロだった。

ただし結果は特定のモデル・ベンチマーク・予算に依存する。合成データには誤りが混入しうるし、著者自身も限界（教師APIの更新による再現性、財務意思決定への直接利用の非推奨）を明記している。数値は魅力的だが、万能の保証ではない点は押さえておきたい。

この研究がもたらす意味と今後の展望

MagicBeanStalk（MBS）が投げかける最大のメッセージは、「データは量か質か」という二択を超えるという点にある。これまでRLVR（検証可能な報酬による強化学習）のデータ拡張は、問題をどれだけ集め、どれだけ生成できるかに注目してきた。しかし本論文の実測が示すのは、データの価値は問題そのものに宿るのではなく、問題・対象ポリシー・ロールアウト予算の三つ組で決まるという考え方だ。同じ問題でもポリシーを変えれば32.3%が別の帯域へ移動し、予算を16Kから64Kへ広げれば「難しい問題」の割合は33.1%から10.6%へ縮む。したがって今後必要なのは「より多く」ではなく、「対象モデルと予算に校正された質」である。これはデータ設計の前提そのものを組み替えるパラダイム転換だ。

この視点は、アルゴリズム側の工夫と競合するものではない。動的サンプリングやオラクル接頭辞のように、学習信号の薄いサンプルを賢く扱う手法は、あくまで「与えられたデータからどう学ぶか」を改善する。MBSはその手前で「そもそもどんなデータを用意するか」に介入する。両者は補完関係にあり、データ側とアルゴリズム側の両輪でゼロ利得の罠に挑めることを示している。

flowchart LR
    subgraph 従来["従来のデータ拡張"]
        A1["収集・手続き的生成"] --> A2["量を増やす"] --> A3["事後フィルタリング<br/>（選別のみ）"]
    end
    subgraph MBS流["MBSのデータ設計"]
        B1["能力の設計図を抽出"] --> B2["分解・難化・再合成"] --> B3["ポリシーと予算に校正<br/>（Goldilocks帯）"]
    end

実用面では、コストと効率のトレードオフが今後の焦点になる。MBSは1問あたりの構築トークンが増えるため、分解・検証・再合成のパイプラインをいかに自動化し、コストを抑えるかが実運用の鍵となる。一方で、少ない問題数で大きな改善が得られるため、データ収集そのものが難しい領域ほど恩恵は大きい。数学に続き、ファイナンスでは340問の専門家シードから14,000を超える検証可能問題を合成し、Qwen3-4Bの性能を押し上げた。文書に接地させて丸暗記を防ぐ仕組みは、検証可能データが乏しい専門ドメインや、文書を読んで推論するエージェント型タスクへの拡張余地を示唆する。

ただし万能の解決策ではない。合成データには誤りが混入しうるし、3つのフロンティアモデルによる審査でも数学では8.0%が全員却下された。報酬を最大化する過程で、検証の隙を突く振る舞い（報酬ハッキング）や、狭い合成分布への過適合による能力劣化のリスクも残る。信頼できる検証と監査の仕組みを併せて整えることが、この方向性を安全に活かす前提となる。

よくある質問

RLVRの「ゼロ利得の罠」とは結局何が問題なのですか？

RLVR（検証可能な報酬による強化学習）は、同じ問題に対して複数の回答（ロールアウト）を生成し、それらの報酬の平均を基準に各回答の相対的な優劣（アドバンテージ）を計算してモデルを更新する。ところが全ロールアウトが成功、または全滅するとアドバンテージがすべてゼロになり、その問題からモデルは何も学べない。これが「ゼロ利得の罠」である。約78,000問のオープンソース数学コーパスを評価すると、学習信号を生むGoldilocks帯に入るのはわずか12.2%で、約88%が罠に落ちていた。データ量をいくら増やしても学習信号にならない点が本質的な問題である。

なぜ「難しい問題」を捨てずに残す必要があるのですか？

成功率ゼロの問題は、そのままでは直接の学習信号を生まない。しかしその検証済みの解法は、対象ポリシーに欠けている推論操作とその組み合わせ方、すなわち「推論の設計図」を具体的に示している。これを種として、難易度を対象モデルと予算に校正した新しい問題を作り出せば、フィルタリングでは得られない学習信号を生み出せる。実際に98個の難問シードで、設計図の一部を含む簡単な部分問題を手がかりとして与えると、78/98（79.6%）のシードで正解が出るようになり、平均精度が0%から46.9%へ上昇した。

MagicBeanStalkは普通の「教師による問題生成」と何が違うのですか？

単発の変形生成ではなく、シードを部分問題の木にトップダウンで分解し、葉を難化させたうえでボトムアップに再合成する点が決定的に異なる。各段階で検証を通し、さらに「その問題が対象ポリシーのGoldilocks帯に入るか」「予算内で少なくとも1本の正解が正常終了するか」という校正を行う。教師に単純な変形を生成させる方法では、同じシード集団での比較でシードのみの学習（65.3）を上回れず（63.9）、浅い言い換えに留まりやすかった。MBSは設計図の保持と新規性を両立させ、1,250の難問シードから3,370の子孫を生み、74.7%のシードで有効問題を生み出している（単純な変形生成では43.8%）。

合成データの品質や誤りはどう担保していますか？

各部分問題と合成問題は、検証済みの解法と棄却サンプリングを通し、さらに3つのフロンティアモデルが妥当性と正解を審査する。ただし数学では8.0%が全モデル一致で却下されており、合成データに誤りが残りうることを示している。したがって、この手法は信頼できる検証と監査、そして限界の明示を前提として運用する必要がある。

この手法は数学以外にも使えますか？

ファイナンスでは340問の専門家シードから14,000を超える検証可能問題を合成し、Qwen3-4Bの性能をSecQueで+6.9、FinanceBenchで+2.4改善した。シードの文書要約に似た未見文書へ合成木を再接地する仕組みにより、シード文書の事実を持ち込まずに新しい問題を作れる。この文書接地の考え方により、検証可能データが乏しい専門ドメインや、文書を読んで推論するタスクへも応用できる可能性がある。

まとめ

RLVR（検証可能な報酬による強化学習）におけるデータの価値は、問題そのものの難しさでは決まらない。問題・対象ポリシー・ロールアウト予算という3つの組によって初めて決まる。約78,000問のオープンソース数学コーパスを評価すると、学習信号を生むGoldilocks帯に入るのはわずか12.2%で、残る約88%は全成功か全滅のどちらかに偏り、グループ相対アドバンテージがゼロになって何も教えない。データ量を増やすだけでは推論能力は伸びないという事実が、出発点である。

では、成功率ゼロの難しい問題は無価値なのか。そうではない。検証済みの解法は、対象ポリシーに欠けている推論操作とその組み合わせ方、すなわち「推論の設計図」を具体的に示している。98個の難問シードに設計図の一部を含む簡単な部分問題を手がかりとして与えると、78/98（79.6%）のシードで正解が出るようになり、平均精度は0%から46.9%へ上昇した。難問は捨てる対象ではなく、合成すべき能力の設計図なのだ。

MagicBeanStalkはこの設計図を起点に、シードをトップダウンで部分問題の木へ分解し、葉を難化させ、ボトムアップに再合成する。各段階で検証と、対象ポリシーのGoldilocks帯・予算内可解性による校正を行う点が、単発の変形生成との決定的な違いである。

flowchart LR
    A["難問シード＋検証済み解法"] --> B["設計図の抽出"]
    B --> C["分解：部分問題の木"]
    C --> D["難化とボトムアップ再合成"]
    D --> E["ポリシー・予算に校正\nGoldilocks問題"]
    E --> F["学習信号の創出"]

効果は大きい。数学ではgpt-oss-120bが61.2から69.8へと+8.6改善し、全78Kコーパスでの学習（+1.1）や単純な変形生成（+5.6）を明確に上回った。同じデータはDeepSeek v4 Flashへ転移しても+5.4の改善をもたらした。歩留まりも高く、約1,250の難問シードから3,370の子孫を生成し、74.7%のシードが有効問題を生んでいる。ファイナンスでは340問の専門家シードから14,000超の問題を合成し、Qwen3-4BをSecQueで+6.9、FinanceBenchで+2.4改善した。

今後の焦点は合成コストの最適化、検証可能データが乏しい他ドメインやエージェント型タスクへの拡張、そして合成データの品質保証である。数学では8.0%が全モデル一致で却下されており、誤りが残りうる。信頼できる検証と監査を前提に、データ側から推論能力を設計するという発想が、今後のポストトレーニングの土台になっていく。

参考資料

• MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis — https://arxiv.org/abs/2610.12659
• DAPO: An Open-Source LLM Reinforcement Learning System at Scale — https://arxiv.org/abs/2503.14476
• Golden Goose: a simple trick to synthesize unlimited RLVR tasks from unverifiable internet text — https://arxiv.org/abs/2601.22975
• MathArena — https://arxiv.org/abs/2605.00674
• FinanceBench — https://arxiv.org/abs/2311.11944

関連記事

• 強化学習の「足し算」をやめる — トロピカル強化学習（Tropical RL）が解く構成的推論の壁
• 推論トークンは本当に元を取れるのか？——LLMの「考えるコスト」を測る Token Economy Score（TES）