ITNetとは何か
ITNetは、畳み込み(Convolution)・アテンション(Attention)・再帰(Recurrence)といったニューラルネットワークの核となる性質を、学習可能な積分変換として統一的に扱う新しい枠組みです。積分核をパラメータ化して訓練することで、局所的特徴の抽出と長距離依存の処理を一本のモジュールで実現します。従来のように各機構を別個に設計する必要が減り、モデルサイズの抑制と訓練の安定性向上が期待されます。
理論と設計思想
ITNetの核心は、入力信号を学習可能な核関数 φ_θ で重み付き積分する統一表現にあります。離散版は y_i = Σ_j φ_θ(i, j) x_j、連続版は (T_θ x)(t) = ∫ φ_θ(t, s) x(s) ds と定式化されます。Conv・Attention・Recurrence はいずれもこの核を用いて近似・置換可能であり、単一の設計で多様な機能を表現できる点が最大の特徴です。