背景と問題設定 巨大言語モデル（LLM）の推論は、実運用における計算リソース、応答時間、エネルギー消費に直結する重要な要素です。高品質な出力を維持しつつ、遅延を抑え、運用コストを削減することが現場の共通課題となっています。特にCoT（チェーン・オブ・ソート）やBest-of-Nなどの推論戦略は、性能を高める一方で推論時の計算量を大幅に増やし、実用適用のハードルを高めます。 本論文は、推論の効率化を「モデルベース」「出力ベース」「入力ベース」の3視点に整理します。モデルベースはパラメータ効率化や蒸留、Early Exit、量子化・剪定・スパース化など、推論時の内部計算を抑える設計指向の技法を指します。出力ベースは推論チェーンの設計・経路選択、不要な推論ステップの削減、要約・再利用、動的経路決定など、生成過程を軽量化する手法を含みます。入力ベースはプロンプト設計・データ活用の最適化で、同等の性能を保ちながら入力計算量を削減するアプローチです。 本総説は、これらのカテゴリごとに代表的な技法と、効率と性能のトレードオフを整理・比較します。現場では、評価基準の標準化やベンチマーク整備、コス