はじめに 自己改善手法とは、モデルが出力を一度で提出するのではなく、出力を批評・検討し、必要に応じて修正を加える一連の推論プロセスを指します。Self-Refine、Reflexion、Debate、Tree of Thoughts といったアプローチは、内部の推論経路を自己検証することで、最終回答の信頼性を高めようとします。推論の設計においては、どれくらいの計算資源を使うか、どの程度の回答の安定性を許容するかが重要な選択となります。 ローカル環境での推論では、推論資源と精度のトレードオフが特に重要です。トークンコストと実行時間が制約条件となる中、同じトークン予算で繰り返しサンプリングを行い、複数の見解を統合する方法は、しばしば単発の推論よりも正確性と再現性を高める効果を持ちます。とはいえ、自己改善の効果はモデルサイズに依存します。小型モデルでは反復による情報追加が有効に働くことが多い一方、サイズが大きくなると追加の反省から得られる価値が相対的に低下する傾向があります。 本論文の実証では、1.5B・3B・7Bのモデルサイズと150問×2のベンチマーク、ブートストラップ信頼区間・多