はじめに
本研究は、小型の Transformer がアルゴリズム的タスクを学習する際の学習ダイナミクスを系統的に観察し、共通する不変的な計算プリミティブを特定することを目的とする。実験では、さまざまなアルゴリズム課題に対して Transformer をトレーニングすると、タスク間やアーキテクチャ間を超えて再利用可能な「アルゴリズムコア」が現れることを確認した。これらのコアは複数の seeds に対して一貫して現れ、層の深さや注意機構の変更といった構造的差異にも頑健である。コアは個別の操作の集合として捉えられ、組み合わせることで新規タスクを解くことができる。これは grokking や文脈内学習の理解に新たな指針を与え、モデルが学習するアルゴリズムを抽出できる可能性を開く。研究は、生成モデル設計やAIの解釈性を高める具体的な示唆を提供する。以下の節では、問題設定と背景を整理し、コアの本質と再利用性がどのように現れるかを概説する。
graph TD
Transformer[Transformer] --> Tasks[Algorithmic Tasks]
Tasks -->