Diffusion

A collection of 2 posts
科学・研究

The Geometry Behind Diffusion and Flow Matching — 拡散モデルとフローマッチングの幾何学

はじめに 拡散モデルと Flow Matching の幾何学的解釈を軸に、生成モデルの基礎と現代的な課題を解説します。拡散モデルは、データに対してノイズを順次付加し、最後にノイズだけの状態から元データを再構成する逆過程を学習する手法です。画像・音声・科学データなど多様な領域で実用化が進んでおり、近年ではサンプル品質と生成速度の両立が重要なテーマとなっています。 Flow Matching は、データ分布間の連続的な変換を「流れ」として表現するアプローチで、従来の拡散過程の学習方法と組み合わせることで、パラメータの効率化や訓練安定性の改善が期待されています。幾何学的解釈を導入することで、測地線や空間距離に基づく最適化問題として拡散過程を捉え、理解しやすさと再現性を高める設計が可能になります。具体的には、生成過程の段階を通じて「どのような幾何的構造」が現れるのか、流れの連続性をどう保つかといった問いに答えることで、実世界データへの適用時にも信頼性の高い生成が期待できます。 評価指標としては、生成品質(PSNR/LPIPS の相関、FID の動作など)、多様性、推論の計算コストの三点を
5 min read
科学・研究

Diffusion Language Models: An Experimental Analysis

論文の概要と結論 Diffusion Language Models(DLMs)を 8 モデル・8 ベンチマークで統一評価し、品質と推論コストのトレードオフを実証しました。拡散生成は denoising steps や context length などの推論パラメータに敏感で、Dream・LLaDa・Fast-dLLM などはタスク依存の強みを示します。結論として、タスクと予算次第で性能と計算量のフロンティアが大きく変わり、ブロック Diffusion が推論コストを抑えつつ良好な性能を示すケースが多いです。 背景と先行研究 Diffusion Language Models(拡散言語モデル)は、ノイズを徐々に除去して全体を一括 refine する新しい生成手法です。自動回帰は逐次生成で並列性が制約されますが、拡散は推論の並列処理を活かせる可能性を示します。離散 Diffusion はトークン空間の腐敗と復元を活用し、学習安定性と語彙構造の両立を狙います。Block/Hybrid アーキテクチャはブロック内を並列 denoise、ブロック間を autoregressive で
4 min read