AI・テクノロジー

SFTはRLに負けない——MCMCサンプリングで「オフポリシーな専門家データ」をオンポリシー化する新手法

docker agent

04 10月 2026 • 15 min read

はじめに：ポストトレーニングの「常識」が揺らいでいる

大規模言語モデル（LLM）の能力を伸ばすポストトレーニング（事前学習を終えたモデルに追加学習を行う工程）では、主に2つの手法が使われてきた。1つはSFT（Supervised Fine-Tuning、教師ありファインチューニング）で、人手や高性能モデルが用意した模範解答をそのまま模倣させる。もう1つはRL（強化学習）で、モデル自身が生成した解答に報酬を与え、正解に近づくよう方策を更新する。

ここ数年、この2つについて「RLは新しいタスクに強く汎化し、既存の能力も壊さない。一方SFTは汎化が弱く、破滅的忘却（catastrophic forgetting）——新しいことを学ぶうちに以前できていたことができなくなる現象——を起こしやすい」という通説が広く共有されてきた。この差は、学習に使うデータがオン・ポリシーかオフ・ポリシーかで説明される。オン・ポリシーとはモデル自身が生成したデータで学ぶことを指し、更新がモデル分布の近傍にとどまるため挙動が急変しにくい。オフ・ポリシーとは別のモデルや人手が作った外部データで学ぶことを指し、分布のずれが大きく不安定になりやすい。SFTは典型的なオフ・ポリシー学習であり、これが「弱さ」の根拠とされてきた。

しかしSFTにはRLが持たない強みがある。専門家が持つ特権情報（privileged information）、つまり正解に至る具体的な思考過程をそのまま学習信号として使える点だ。RLはモデル自身が正解を出せなければ報酬が得られず、難しい問題では学習信号がゼロになりがちである。ここにトレードオフが生じる。オフ・ポリシーデータに含まれる情報の豊かさと、オン・ポリシー学習の安定性は、両立できないのだろうか。

ハーバード大学の Aayush Karan、Sitan Chen、Yilun Du による論文「Finetuning with Sampling: SFT Learns Better Than You Think」（arXiv:2610.02140、NeurIPS 2026 採択）は、この問いに正面から取り組む。提案の要点は明快だ。学習アルゴリズム（SFT）を変えるのではなく、学習データの分布をモデルにとって学びやすい形に変える。それだけでSFTがRLに匹敵し、しばしば凌駕するという。既存研究の多くが損失関数や更新則の側を工夫してオフ・ポリシーデータに合わせようとしたのに対し、本論文は発想を逆転させ、データの方を学習者に合わせる。以下では、この手法の仕組みと、化学・数学・医療での具体的な検証結果を見ていく。

なぜSFTは「弱い」と言われてきたのか——オン・ポリシーとオフ・ポリシーを整理する

オン・ポリシー学習とオフ・ポリシー学習とは何か

ポストトレーニングの議論で必ず登場するのが、オン・ポリシー（on-policy）とオフ・ポリシー（off-policy）という区別だ。オン・ポリシー学習とは、いま学習しているモデル自身が生成したデータでパラメータを更新する方式を指す。データを作る主体と学ぶ主体が同一なので、更新は常に現在のモデル分布のごく近傍にとどまり、挙動が急に崩れにくい。強化学習（RL）はこの典型で、モデルが何度も解答を試し、うまくいった軌跡に報酬を与えて自分自身を少しずつ動かす。

一方のオフ・ポリシー学習は、別の高性能モデルや人手が作った外部データで更新する方式である。SFT（教師ありファインチューニング）はこれに当たる。データ作成者の分布と学習対象モデルの分布は一致しないため、モデルは「自分が決して出さないような表現」に無理やり合わせにいく。これが過剰適合や破滅的忘却（catastrophic forgetting）——新しいタスクを学ぶうちに既存能力が損なわれる現象——の一因とされてきた。

flowchart LR
    subgraph オフポリシー["オフ・ポリシー（SFT）"]
        A["専門家データ<br/>（別モデル・人手）"] -->|大きな分布のずれ| B["学習対象モデル<br/>を引き寄せる"]
    end
    subgraph オンポリシー["オン・ポリシー（RL）"]
        C["モデル自身が<br/>生成した軌跡"] -->|近傍での微調整| D["学習対象モデル<br/>を少し動かす"]
    end

RLとSFT、それぞれの「取り分」

RLの強みは汎化にある。モデル自身の分布を出発点にするため、身につけた振る舞いが他のタスクへ波及しやすく、既存能力も壊れにくい。ただし弱点も明確だ。モデル自身が正解の軌跡を一度でも見つけられなければ報酬が得られず、学習信号がゼロになる。難しい問題では正解率が低すぎて報酬の分散が消失し、学習がまったく進まない。

SFTはこの逆を行く。専門家データには正解に至る思考過程そのものが含まれており、報酬設計なしで豊富な監督信号を利用できる。これは特権情報（privileged information）と呼ばれ、RLが原理的に持たない資産である。つまりここには、オフ・ポリシーデータの情報の豊かさと、オン・ポリシー学習の安定性という、相反する2つの利点が存在する。

観点	オン・ポリシー（RL）	オフ・ポリシー（SFT）
データの出所	モデル自身が生成	外部の専門家・モデル
分布のずれ	小さい	大きい
汎化	強い	弱いとされる
忘却	起こりにくい	起こりやすい
必要とする情報	正解軌跡を自力で発見できること	専門家の正解軌跡
学習信号が消える条件	正解を一度も出せない難問	該当しない

従来の「埋め合わせ」アプローチとその限界

両者のいいとこ取りを狙う研究はこれまでにも数多く存在する。しかしその多くは学習目的関数の側を改造する方向に進んだ。重要度サンプリングでオフ・ポリシーデータの重みを補正する、KL項を加えて分布のずれを抑える、GRPO系のアルゴリズムに専門家データを注入する、といった手法である。いずれも「ずれたデータに、学習の仕組みを合わせにいく」発想だ。

本論文はこの向きを逆にする。データの方を改造し、学習者に合わせる。専門家データが持つ正解の情報はそのままに、その表現だけをモデルにとって自然な形へと移し替える。こうして生まれた「オン・ポリシーな専門家データ」を使えば、SFTは分布のずれに苦しむことなく、特権情報の恩恵だけを受け取れる。次節では、この移し替えを情報射影とメトロポリス・ヘイスティングス法でどう実現するのかを見ていく。

論文の核心：オフ・ポリシーデータを「オンポリシー化」する

情報射影（Information Projection）という目標

この論文の出発点は、「専門家データとは、結局のところ何を満たすべきデータなのか」を数式で書き下すことにある。まず、専門家の解答軌跡と意味的に等価な軌跡の集合を C と定義する。数学や科学の問題なら「正解に到達する思考過程」、事実を覚えるタスクなら「同じ事実内容を含む記述」がこれに当たる。つまり C は、タスクごとに決まる「正しさの条件」を表す集合である。

そのうえで論文が目標に据えるのは、Cを満たす分布のうち、ベースモデル p に最も近い分布を見つけることだ。これを情報射影（information projection）と呼ぶ。数学的には、Cに支持を持つ分布全体の中で p とのKLダイバージェンスを最小化する問題になる。論文はこの最小化子が驚くほど単純な形になることを示す。

$$p_C(x) \propto p(x)\cdot \mathbf{1}(x\in C)$$

すなわち「ベースモデルが生成しうる軌跡のうち、正解と等価なものだけに制限した分布」である。ここが重要だ。専門家データの情報内容（正解であること）は制約 C としてそのまま残し、表現の仕方だけをベースモデルが自然に出す形へ寄せる。この分布からサンプリングできれば、情報の豊かさとオン・ポリシー性を同時に持つ学習データが得られる。

flowchart LR
    A["専門家データ分布<br/>π_data"] -->|情報射影| B["目標分布<br/>p_C ∝ p·1(x∈C)"]
    B -->|MCMCサンプリング| C["ベースモデル分布<br/>π_base の近傍"]
    D["ベースモデル p を<br/>出発点に据える"] -.-> B

なぜ単純な棄却サンプリングでは不十分か

「正解と等価な軌跡だけが欲しいなら、ベースモデルに何度も解かせて正解したものだけ拾えばよいのでは」と思うかもしれない。これが棄却サンプリングであり、実はこれはオン・ポリシーRLの繰り返しサンプリングと同じである。ベースモデルがその問題を解けるなら話は早いが、解けないなら何度試しても正解は出てこない。RLが難問で学習信号を失うのと同じ壁にぶつかる。

この論文が狙うのはそこではない。ベースモデル単独では到達しにくい専門家の軌跡を出発点に持ち込み、その内容を保ったままモデルにとって自然な表現へと移し替える。棄却サンプリングが使えない領域でこそ、専門家データの特権情報が活きる。

メトロポリス・ヘイスティングス法による実現

この移し替えを担うのがMCMC（マルコフ連鎖モンテカルロ）、とくにメトロポリス・ヘイスティングス（MH）法である。MH法は提案分布から候補を生成し、目標分布への適合度に応じた受理確率で受け入れるかどうかを決める、という手続きを繰り返して目標分布からのサンプルを得る手法だ。

この論文の工夫は、提案分布の作り方にある。MH法の受理確率は「ベースモデル尤度の比」と「提案分布の比」で決まるが、正解・等価性の制約 C を提案分布の側に吸収させることで、生成される候補が常に「正解と等価」なままに保たれる。論文はこれをinformation-preserving（情報保持的）な提案と呼び、制約付きのMHと制約なしのMHが等価になることを示している。さらに理論的な保証も与えられている。MCMCを進めるほど、データ生成分布とベースモデル分布のKLダイバージェンスが単調に減少するのだ（データ処理不等式から導かれる）。つまりサンプリングを重ねるほど、データは確実にオン・ポリシーへ近づいていく。

LLM向け実装「プロジェクション・サンプリング」

理論どおりのMH法をLLMで回すのは計算的に非現実的である。候補を作るたびに全文を再生成する必要があり、しかも混合（目標分布への収束）が遅い。そこで論文はブロック単位の近似サンプリングを採用する。

手順の要点はこうだ。まず系列を長さBのブロックに区切り、各段階でブロックを提案分布から初期化する。続いてN_MCMC回、ランダムな位置を選んでその先を再サンプリングして候補を作り、ベースモデル尤度による受理確率で受け入れるか棄却するかを決める。受理されればそのブロックを確定して次のブロックへ進む。提案分布は「ベースモデルに専門家解答と部分回答を文脈として与え、続きを書かせる」というプロンプトで定義され、事前学習済みLLMの指示追従能力を借りて正解等価性を保つ。

flowchart TD
    S["専門家軌跡を初期値に設定"] --> P["ブロックを提案分布で初期化"]
    P --> M["N_MCMC回:<br/>候補生成 → ベースモデル尤度で受理/棄却"]
    M -->|受理| F["ブロックを確定"]
    M -->|棄却| P
    F --> E{"系列の最後まで<br/>到達したか"}
    E -->|No| P
    E -->|Yes| G["オン・ポリシー化された<br/>学習データを出力"]

実装パラメータの例はブロックサイズ B=32、最大系列長 T=1856、MCMCステップ N_MCMC=10 である。ここで押さえておきたいのは、これは学習前のデータ整形として一度だけ行うコストであり、推論時コストではないという点だ。総トークンコストはおおよそ $|D|\cdot N_{MCMC}\cdot T^2/(4B)$ と見積もられる。ブロックサイズBを大きくすれば安く済むが、小さめのBの方が解像度が高く近似誤差が小さいというトレードオフがある。

実験結果：SFTは本当にRLに匹敵するのか

検証タスクとベースモデル

この手法の効果は、性質の異なる3つのタスクで検証されている。第一に化学で、SciKnowEvalの化学L-3サブセット（反応予測・モル質量計算・化学式バランス）2,400問を使い、Qwen2.5-7B-InstructとOlmo-3-7B-Instructを対象とする。専門家の解答軌跡はGPT-5が生成した。第二に数学推論で、MATHデータセットの最難関レベル3・4・5の9,254問をQwen2.5-3Bで解かせる。第三に医療で、HuatuoGPT-o1のSFTデータ19,704問（臨床推論）をQwen2.5-7B-Instructで扱い、正解判定はLLMグレーダーが行う。

比較対象は、ベースモデル、通常SFT、データを一度書き直すだけの「Rewrite SFT（0次MCMC）」、オン・ポリシー自己蒸留（OPSD）である。数学ではさらにRL系のGRPOとUFTを加える。ここで注目したいのは、Rewrite SFTがMCMCステップ0回という条件に対応する点だ。フルMCMCを回す価値があるかどうかを切り分けられる設計になっている。

汎化性能の向上

結果は明確に「SFTがRLに負けない」ことを示す。

タスク	ベース	通常SFT	OPSD	Sampling SFT	RL系
化学（Qwen2.5-7B）	0.343	0.618	0.618	0.660	—
数学 MATH(3,4,5)（Qwen2.5-3B）	0.315	0.243	0.267	0.495	GRPO 0.457 / UFT 0.470

化学ではベースから+31.7%、OPSDを上回る。数学ではSampling SFTの0.495がGRPO（0.457）とUFT（0.470）を凌駕し、MATH500では+33.7%、AMCで+14.4%、GSM8Kで+20.3%を記録した。対照的に通常SFTは数学の全指標で低下しており、汎化せず既存能力を壊している。さらにSampling SFTで初期化したRLはMATH500で0.652、GSM8Kで0.830と全体最良となり、SFTがRLの優れた初期値になることも示された。

破滅的忘却の抑制

既存能力の保持でも優位性が確認できる。化学タスクでSampling SFTはMMLUの知識を失わず、既存能力の平均低下は-1.10%にとどまり、OPSDを含む全ベースライン中で最も忘却が少ない。医療タスクでは、通常SFTが失う既存能力の平均損失を16.3%回復した。「新しいタスクは伸びるが既存能力は壊れる」という従来のトレードオフが緩和されている。

「鋭利化」を超えて、本当に新しい能力を学ぶか

データをオン・ポリシー化すると、単にベースモデルが元々持つ能力を強調するだけ（distribution sharpening）ではないか、という懸念が残る。これをpass@k（k回サンプルして1回でも正解すれば正解とみなす指標）で検証している。もし単なる鋭利化なら、kを増やせばベースモデルの水準に収束するはずだ。

結果は逆で、Sampling SFTのpass@k曲線はベースモデルとOPSDを一貫して大きく上回り、高kでも差が開いたままだった。ベースモデルがpass@64でも正解ゼロの難問を、Sampling SFTは最大67.2%／53.1%まで解けるようになる。既存能力の増幅ではなく、新しい能力の獲得が起きている。

サンプリング計算量はスケールする軸になる

MCMCステップ数をk=0,2,4,6,8,10と増やすと、データ分布とベースモデルのKLギャップは単調に縮小し、ファインチューニング後の精度は右肩上がりに伸びる。k=0（データを一度書き直すだけ）よりフルMCMCが明確に有効であり、サンプリング計算そのものが性能を押し上げる軸になっている。

flowchart LR
    K0["MCMCステップ 0<br/>（書き直しのみ）"] --> K2["k=2"] --> K4["k=4"] --> K8["k=8"] --> K10["k=10"]
    K0 -.KL大.-> K10
    K0 -.精度低.-> K10

これは、これまでRLの計算量に頼ってきた部分を、データ整形側の計算量へ置き換えられる可能性を示唆する。

データは「そのモデルのため」でなければ効かない

見落とせない注意点がある。Olmo向けに最適化したデータをQwenで学習すると精度が57.33%に低下し、通常SFT（61.8%）にも負けてしまう。ブースト後データと元データを50/50で混合した場合は62.14%と中間にとどまる。「オン・ポリシー化」は対象モデル固有の操作であり、汎用のデータ加工ではない。データ分布と学習するモデルの分布を一致させることが本質であることを、この反例が裏づけている。

どう使えるか：実務への示唆

コスト構造が「学習時」から「データ整形時」へ移る

強化学習（RL）によるポストトレーニングは、モデル自身に大量のロールアウトを生成させ、報酬を設計し、その繰り返しを支える計算資源を必要とする。これに対し、本手法が払うコストは学習前の一度きりのデータ整形である。専門家データを、メトロポリス・ヘイスティングス法でベースモデルが生成しやすい表現へと書き換えてから、通常どおりSFTを回せばよい。総トークンコストは |D|·N_MCMC·T²/(4B) で近似され、計算を学習中の反復ではなく前処理へ前倒しできる点が実務上の最大の違いだ。

flowchart LR
    A["専門家データ<br/>（オフ・ポリシー）"] --> B["サンプリングによる<br/>オンポリシー化<br/>（学習前・一度きり）"]
    B --> C["通常のSFT<br/>（既存パイプライン）"]
    C --> D["必要ならRLで追加学習"]

報酬設計が難しい領域に効く

RLは「モデル自身が正解を出せなければ学習信号がゼロ」という弱点を持ち、さらに報酬を数値で定義しにくいタスクでは設計自体が難航する。化学式バランスのように正解判定を単純なスカラー報酬に落とし込みにくい問題でも、本手法は「専門家データと意味的等価かどうか」さえ判定できれば適用できる。正しさ・等価性の制約を提案分布側に吸収させる設計により、内容を保ったまま分布だけをモデル側へ寄せられるためだ。判定はLLMグレーダーで代替でき、報酬設計の負担を大幅に減らせる。

SFTパイプラインを捨てずに強化できる

この手法は学習アルゴリズムを差し替えるのではなく、既存のSFTの前段にデータ整形を一手間加えるだけである。フレームワークを大きく作り替える必要がなく、ローカルLLMやセルフホスティング環境でのファインチューニングとも相性がよい。実装パラメータはブロックサイズ B=32、最大系列長 T=1856、MCMCステップ N_MCMC=10 が例として示されており、このうちステップ数を増減させるだけで精度とコストのトレードオフを調整できる。

RLとは直列につなぐのが有望

実験では、Sampling SFTで初期化したRLが数学タスクで全体最良（MATH500 0.652、GSM8K 0.830）となった。SFTとRLは二者択一ではなく、SFTで学習しやすいデータを整えてからRLへ渡す直列構成が有望である。

観点	RL主体	本手法（Sampling SFT）
主なコスト	ロールアウト生成・報酬設計・反復計算	学習前のデータ整形（一度きり）
学習信号	モデルが正解を出せることが前提	専門家データの監督信号を利用
報酬設計	必要（数値化が難しいタスクで困難）	意味的等価性の判定で代替可能
併用	—	RLの初期値として直列に接続

導入前に押さえるべき限界

実務で採用を検討する際は、次の制約を前提にすべきだ。

ベースモデル固有であること。あるモデル向けに整形したデータを別のモデルで学習すると精度が落ちる（Olmo向けデータをQwenで学習すると57.33%まで低下し、通常SFTの61.8%にも負ける）。モデルを変更するたびにデータを作り直すコストを見込む必要がある。
意味的等価性の判定品質に依存すること。LLMグレーダーなどの判定が甘ければ、正しさを保てず学習データが劣化する。
情報保持率が完全ではないこと。実験でも93.9〜95.9%にとどまり、整形の過程で一部の情報が失われうる。
スケーラビリティは今後の課題であること。大規模モデルや長い系列での挙動はまだ十分に検証されていない。

要するに、この手法は「学習アルゴリズムを賢くする」のではなく「データを学習者に合わせて設計する」という発想の転換である。既存のSFT資産を活かしながら、RL依存を減らす選択肢として検討する価値がある。

よくある質問

SFTとRLは、結局どちらを使えばいいのですか？

二者択一で考える必要はありません。本論文は、SFTにMCMCサンプリングによるデータ整形を組み合わせることで、SFTがRL系手法に匹敵し、しばしば凌駕し、破滅的忘却も少なくなることを示しています。さらに、Sampling SFTで学習したモデルをRLの初期値にすると全指標で最良の結果が得られました。したがって「SFTでデータを整えてからRLへつなぐ」直列構成が、現時点で最も有望な選択肢です。

「オフ・ポリシーデータをオンポリシー化する」とは、具体的に何をしているのですか？

専門家が書いた解答軌跡を出発点に、メトロポリス・ヘイスティングス法を用いて「正解と意味的に等価なまま、ベースモデルが生成しやすい表現」へ少しずつ書き換えていく操作です。ポイントは、正解・等価性という制約を提案分布の側に吸収させる点にあります。これにより候補は常に正解と等価に保たれ（information-preserving）、内容を損なわずにモデルの分布へ近づけられます。結果として、専門家データの豊かな情報を保ちながら、モデルにとって自然な学習データが得られます。

計算コストはRLより安いのですか？

性質が異なると考えるのが正確です。本手法のコストは推論時ではなく、学習前の一度きりのデータ整形として支払います。一方RLはロールアウト生成や報酬設計、大規模な計算資源を繰り返し必要とします。また、MCMCステップ数を増やすほどデータはよりオン・ポリシーになり、ファインチューニング後の精度も右肩上がりに伸びます。つまり計算量をスケールさせる軸として使える点が特徴です。

既存の能力を犠牲にしていませんか？

犠牲にしていません。化学タスクでは既存能力の平均低下が-1.10%にとどまり、比較した全ベースラインの中で最も忘却が少ないという結果でした。医療タスクでも、通常のSFTが失った既存能力の損失を16.3%回復しています。加えてpass@kの評価でもベースモデルを大きく上回り、単に既存能力を鋭利化（distribution sharpening）しただけではないことが確認されています。

自分で試すことはできますか？

可能です。著者らは化学・数学向けのサンプリングスクリプトや学習・評価手順を含むPyTorch実装をGitHubで公開しています。ただし、オン・ポリシー化はベースモデル固有の操作です。実際、Olmo向けに最適化したデータでQwenを学習すると精度が57.33%まで低下し、通常のSFT（61.8%）にも負けました。対象モデルごとにデータを生成し直す必要がある点には注意してください。

まとめ

「RLは新しいタスクに強く汎化し、SFTは弱く破滅的忘却を起こす」というポストトレーニングの通説に対し、本論文は明確な反例を示した。鍵は、学習アルゴリズムを賢くするのではなく、学習データの分布をモデルに合わせて整形するという発想の転換である。専門家データが満たすべき正しさ・意味的等価性を制約として表し、その制約を満たす分布のうちベースモデルに最も近いもの——情報射影——を目標に定める。この目標分布をメトロポリス・ヘイスティングス法（本手法の実装はプロジェクション・サンプリング）で近似することで、専門家データの豊かな情報を保ったまま、モデルにとって自然な、すなわちオン・ポリシーな学習データが得られる。

検証結果は一貫している。化学ではQwen2.5-7Bの新タスク精度がベース比+31.7%に達してオン・ポリシー自己蒸留を上回り、既存能力の低下は-1.10%と比較対象の中で最小だった。数学ではMATH最難関レベルでGRPOやUFTといったRL系手法を凌駕し、医療では通常SFTが失った既存能力の損失を16.3%回復した。さらにpass@kの評価では、ベースモデルがpass@64でも解けなかった難問を最大67.2%まで解けるようになり、単なる能力の鋭利化（distribution sharpening）ではない真の学習が確認された。

flowchart LR
    A["専門家データ<br/>（オフ・ポリシー）"] --> B["情報射影を目標とした<br/>MCMCサンプリング"]
    B --> C["オンポリシー化された<br/>学習データ"]
    C --> D["SFT"]
    D --> E["汎化向上・忘却抑制"]
    D --> F["RLの初期値として<br/>さらに性能向上"]

実務面で特に重要なのは3点だ。第一に、コストを推論時ではなく学習前の一度きりのデータ整形として支払うため、RL依存を減らせる。第二に、MCMCステップ数を増やすほどデータはよりオン・ポリシーになり精度も伸びるため、サンプリング計算をスケールさせる軸として使える。第三に、オン・ポリシー化はベースモデル固有の操作であり、他モデル向けに整形したデータでは効果が出ない（Olmo向けデータでQwenを学習すると57.33%に低下）という制約を踏まえる必要がある。

最大の示唆は、サンプリングをモデルネイティブな演算子として扱い、学習しやすさのためにデータを設計するという視点である。これはファインチューニングだけでなく、RLや蒸留を含むポストトレーニング全体に横断的に効く汎用プリミティブになりうる。SFTとRLを二者択一で論じる時代から、データと計算の配置を設計する時代へ——本論文はその転換点を示している。

参考資料

論文（Abstract）: https://arxiv.org/abs/2610.02140v1
論文（全文 HTML）: https://arxiv.org/html/2610.02140v1
プロジェクトページ: https://aakaran.github.io/finetuning_with_sampling/
公式コード（GitHub, PyTorch）: https://github.com/aakaran/finetuning-with-sampling
前身論文「Reasoning with Sampling: Your Base Model is Smarter Than You Think」: https://arxiv.org/abs/2510.14901

RAGは"似ている問題"を探すだけではダメだった──類推推論を強化するRA-RFTの衝撃