AI・テクノロジー

ARC-AGI 58.8%——ループ型モデルの「学習の壁」を破った Looped Flows とは：テスト時計算の新しい形

Q: 「フロー」や「拡散モデル」と何の関係があるのですか？

フロー／拡散モデルは、画像生成などで使われる技術で、各時刻のノイズ除去（デノイジング）を独立した局所目的として訓練するだけで、全体としてノイズからデータへ向かう整合した流れを学習できるのが特徴です。Looped Flows はこの性質を借り、デノイザ（ノイズ混じりの入力からきれいな解を予測する関数）を「状態を持つ」形にして、再帰の隠れ状態そのものを同時に訓練します。画像生成の道具立てが、推論モデルの学習安定化に転用されているわけです。

docker agent

14 9月 2026 • 25 min read

はじめに——「もっと考える」をモデルにどう教えるか

人間も機械も、難しい問題は「時間をかけて考える」ことで解きます。LLM の世界ではこの考え方をテスト時計算（test-time compute）と呼びます。モデルのパラメータを増やすのではなく、推論時にどれだけ計算を投じるかを増やして難しいタスクを解かせる、という潮流がここ数年で主流になりました。そして「計算を積む」ための代表的な方法が、思考を言語として外に出す Chain-of-Thought（CoT）です。ただし、言語に書き出す推論は1ステップあたりに運べる情報量、いわゆる帯域が限られるという指摘があります。

そこで補完的なアイデアとして注目されているのが、隠れ状態（hidden state）を繰り返し更新して計算を積み上げるという発想です。これが本記事の主役であるループ型モデル（looped models）です。同じパラメータのネットワークを何度も通し、そのたびに内部状態を少しずつ改善していくことで、パラメータ数を増やさずに「実効的な深さ」と計算量だけを伸ばせるのが特徴です。

本記事で扱うのは Ayhan Suleymanzade らによる "Thinking with Looped Flows"（arXiv:2609.11801, 2026-09-10） です。この研究は、わずか 7M パラメータ級の小さなモデルで ARC-AGI-1 58.8% / ARC-AGI-2 12.2% を達成し、同系統の先行研究 TRM の 44.6% / 7.8% を大きく上回りました。ARC-AGI は少数の例から抽象的な規則を見つけて解く推論ベンチマークで、巨大な事前学習よりも「推論時に計算を積む仕組み」がものを言う領域として知られています。

テスト時計算の実装ルートは、大きく次の3系統に整理できます。

flowchart LR
    A["難しい問題"] --> B["① CoT：思考を言語に書く<br/>実装は簡単・帯域に制約"]
    A --> C["② ループ型：隠れ状態を再帰更新<br/>帯域は広いが学習が難しい"]
    A --> D["③ フロー／拡散：生成過程を積分<br/>局所目的で訓練・計算を増やせる"]

本記事を読み終えると、(1) ループ型モデルがなぜ学習しづらいのか、(2) Looped Flows がどうそれを回避したのか、(3) フローや拡散モデルの道具立てがなぜ推論に効くのか、が腹落ちする状態になります。以降では、テスト時計算の背景から始めて、ループ型モデルの仕組み、その最大の弱点、Looped Flows の設計、実験結果、そしてローカル環境で試すときの現実的な勘所までを順に見ていきます。

テスト時計算とは何か——なぜ今重要なのか

テスト時計算（test-time compute）とは、推論時（inference time）にどれだけ計算を投じるかを増やすことで、モデルのパラメータを増やさずに性能を引き上げる考え方です。学習時にパラメータやデータを増やして賢くする「学習時スケーリング」とは直交する軸で、同じモデルでも「どれだけ長く・深く考えるか」を変えれば難問の正答率が変わる、という見方を提供します。

この潮流が一気に注目されたきっかけは、Snell ら（2024）が「テスト時計算を最適にスケールさせることは、モデルのパラメータをスケールさせるより効果的な場合がある」と示したことです。パラメータ数を際限なく増やす路線に行き詰まりが見え始めた時期と重なり、「計算量を推論側に振り替える」という発想が現実的な選択肢として定着しました。

実務では、この考え方がすでに「推論モデル」として姿を現しています。o 系や DeepSeek-R1 系のモデルは、長い Chain-of-Thought（CoT）を生成することでテスト時計算を実現していますが、その代わりにトークン消費が従来の数倍から数十倍に膨らむというコスト問題を抱えます。精度は上がるものの、1問あたりの費用対効果をどう見るかが導入時の判断材料になります。

テスト時計算を実装するルートは、大きく次の3系統に整理できます。

ルート	計算量を増やす手段	学習のしやすさ	主な制約
① 言語に書く（CoT／スクラッチパッド）	生成する思考トークンを増やす	比較的容易	1ステップで運べる情報量（帯域）が限られる
② 隠れ状態を再帰更新（ループ型／recurrent depth）	同じパラメータのループ回数を増やす	難しい（本記事の主題）	勾配が数ステップしか届かず訓練が不安定
③ 生成過程を積分する（フロー／拡散モデル）	積分ステップ数を増やす	局所目的で訓練でき比較的容易	ステップ数に比例して推論コストが増える

①は実装が簡単で扱いやすい反面、思考を言語化する帯域の制約を受けます。②は隠れ状態という広い帯域を使えますが、後述するように学習が難しいという弱点を抱えます。③は各ステップを独立した局所目的で訓練でき、時間グリッドを細かくすれば計算を増やせるという利点があります。この3ルートの違いを押さえておくと、本記事の主役である Looped Flows が「②の学習難を③の道具立てで解く」手法だという位置づけが明確になります。

ループ型モデルとは——同じパラメータを何度も通す

ループ型モデル（looped model）とは、共有パラメータの関数 f を繰り返し適用して隠れ状態 z を更新し、最後にヘッド g で答えを出すモデルの総称です。問題入力を c とすると、更新は z_i = f(z_{i-1}, c) と書き表せます。推論時にループ回数を増やせば「実効的な深さ」、すなわち積み上げられる計算の段数が増え、パラメータ数を増やさずに難しい問題へ対応できます。

直感としては、Transformer を1回だけ通すのではなく、同じ小さなネットを何周も回して答えを少しずつ改善していくイメージです。巨大な事前学習済みモデルに頼らず、「推論時にどれだけ計算を積めるか」を性能の源泉に据える点が、Chain-of-Thought（CoT）で言語に考えを書き出すアプローチと対照的です。

flowchart LR
    c[問題入力 c] --> f1
    z0[z_0] --> f1[f]
    f1 --> z1[z_1]
    z1 --> f2[f]
    f2 --> z2[z_2]
    z2 --> dots["… ループ回数分だけ繰り返し"]
    dots --> g[ヘッド g]
    g --> ans[答え]

この系譜を押さえると位置づけが明確になります。代表例は次のとおりです。

モデル	規模	特徴
HRM（Hierarchical Reasoning Model, 2025）	27M	約1,000例の学習だけで Sudoku・迷路・ARC を解いた先駆け。高レベル／低レベルの2モジュールを異なる頻度で再帰させる
TRM（Tiny Recursive Model, 2025）	7M	HRM を単一の2層ネットに簡素化。ARC-AGI-1 45% / ARC-AGI-2 8%
FPRM / GRAM / PTRM / EqR など	7〜10M	不動点・確率的再帰・アンサンブルへと発展中の一群

なぜこれほど小さいモデルで強いのか。ARC のような少数ショットの抽象推論では、巨大な事前学習よりも「推論時に計算を積む仕組み」と「データ効率」が効きます。実際、7M クラスのモデルが o3-mini や Gemini 2.5 Pro 級の性能を、パラメータ比 0.01% 以下で上回る例が報告されています。ループ型モデルは、テスト時計算という潮流を最も小さな部品で実現しようとする試みだと言えます。

ループ型モデル最大の弱点——勾配が数ステップしか届かない

ループ型モデルの弱点は、精度ではなく学習のさせ方にあります。共有パラメータの関数 f を繰り返し適用して隠れ状態 z を更新する以上、本来は全ステップをまとめて訓練したいところです。そこで使いたくなるのが BPTT（Backpropagation Through Time、時間方向の逆伝播） です。これは系列の最後まで計算したうえで、誤差を時間をさかのぼって各ステップへ配る標準的な訓練法で、RNN の文脈で広く使われてきました。

しかし BPTT をループ型モデルにそのまま適用すると、メモリと計算コストがステップ数に比例して膨らみます。さらに深い再帰では勾配が消失したり爆発したりして、訓練が不安定になります。そこで実務では各ステップで勾配を止める（stop-gradient）という妥協が取られます。式で書くと z_i = f(sg(z_{i-1}), c) となり、各ステップに独立した損失をかけます。sg は「ここで逆伝播を打ち切る」という意味です。

この妥協から、厄介な病理が生まれます。ステップ i 以降の損失は、それより前の状態 z_{<i} に学習信号を返しません。 すると「今の計算が後のステップで役に立つ」ように早期ステップを訓練できず、モデルは局所的な勾配の手がかりだけを頼りに、大域的に有用な計算順序を自力で見つけなければならなくなります。これは非常に難しい問題です。

flowchart LR
  subgraph L["ループ型モデル（stop-gradient）"]
    A0["z0"] -->|"f + sg"| A1["z1"] -->|"f + sg"| A2["z2"] -->|"f + sg"| A3["z3"] --> G["g → 答え"]
    A3 -.->|"損失はここにしか伝わらない"| A3
  end

結果としてループ型モデルは、不安定な再帰を学習してしまい、簡単な問題でも失敗しえます。報告されている失敗モードは主に2つです。ひとつは収束しないケース、もうひとつは偽のアトラクタ（誤った不動点）に落ちるケースです（Ren & Liu, 2026）。後者は、反復を重ねると値が動かなくなるものの、その落ち着き先が正解ではないという状態を指します。反復すればするほど誤った答えに固まっていくため、推論基盤としては深刻な信頼性の問題になります。

Looped Flows の核心①——局所デノイジング目的で再帰を訓練する

発想の転換——「局所目的でも大域的な流れは学べる」

フロー／拡散モデルには、注目すべき性質があります。各時刻のデノイジング（ノイズ混じりの入力をきれいなデータへ少しだけ近づける処理）を、その時刻だけを見た独立した局所目的で訓練しても、全体としてはノイズから解へ向かう大域的に整合した流れを学習できます。ならば同じ局所目的で、ループ型モデルの再帰の隠れ状態そのものを訓練できないか——これが Looped Flows の出発点です。

仕組み——デノイザを「状態付き」にする

鍵は、デノイザを状態を持つ（stateful）ものに変えることです。通常のデノイザは入力だけを見て出力を返しますが、ここでは各ステップでノイズ混じりの補間

I_t = (1 - t) x_0 + t x_1

から解 x_1 を予測しながら、隠れ状態 z も同時に更新します。x_0 は初期ノイズ、x_1 は正解、t は時刻（0〜1）で、t が大きいほどノイズが少なくなります。つまり「デノイズしながら、次に持ち越す計算状態も書き換える」構造になっています。

時間方向の関連づけ（temporal alignment）がなぜ効くのか

Looped Flows の核心は、各ステップを互いに無関係なタスクにしない点にあります。具体的には次の2つを守ります。

ノイズレベルを時間とともに単調に下げる：ステップが進むほど徐々に易しいデノイジング課題になります。
同じ問題 c・同じ解 x_1・同じノイズ x_0 を全ステップで共有する：入力の土台を変えません。

すると各ステップは「入ってきた隠れ状態の特徴を再利用する」方向へ自然に誘導されます。前段の stop-gradient で勾配が数ステップしか通らなくても、時間をまたいで有用な計算を運ぶ再帰状態を学びやすくなります。互いに無関係なタスクを並べる代わりに、「だんだん楽になる関連タスクの連続」として解かせているわけで、カリキュラム学習の一種と見なせます。

flowchart LR
    N["ノイズ x0 (t=0)"] --> S1["step 1<br/>高ノイズ<br/>z 更新"]
    S1 --> S2["step 2<br/>中ノイズ<br/>z 更新"]
    S2 --> S3["step 3<br/>低ノイズ<br/>z 更新"]
    S3 --> A["解 x1 を予測"]
    C["問題 c / 解 x1 / ノイズ x0<br/>（全ステップで共有）"] -.-> S1
    C -.-> S2
    C -.-> S3

補助機構——飽和と過学習を防ぐ2つの工夫

時間方向に関連づけると、後半のステップはノイズが小さく損失が飽和しやすくなります。そこで2つの仕掛けを併用します。

適応的計算時間（ACT: Adaptive Computation Time）：精度が飽和したら以降のステップを無視する二値分類ヘッドを併せて訓練します。無意味になったステップの計算や過学習を抑える役割を持ちます。
pseudotarget（疑似ターゲット）：Sudoku のように正解が1つしかない問題では、後半の補間先に真の解を混ぜると過学習を招きます。そこでモデル自身の前回予測を（勾配を止めて）補間先に使い、正解への露出を抑えます。

この「局所デノイジング目的＋時間方向の関連づけ」が、ループ型モデルが抱えてきた不安定な再帰の学習問題に対する、第一の処方箋になっています。

Looped Flows の核心②——推論を「確率フローの積分」として捉える

推論とは「確率フローを積分すること」である

Looped Flows は、訓練だけでなく推論の見方も根本から変えます。学習済みのデノイザが定める確率フローの速度場 b_t を、時間方向に積分してノイズを解へ運ぶ——これがこの手法における推論の定式化です。ポイントは、フロー状態 x を少しずつ動かしながら、それと同時にループの隠れ状態 z も更新していく点にあります。つまり「フローを進める」計算と「再帰を回す」計算が同じループの中で一体になって進みます。

使う道具——ODE と速度場、そして SDE

中核になるのは確率フロー ODE（常微分方程式）です。

[ dx_t = b_t(x_t, c) dt ]

これを前進オイラー法などの数値積分で解き、初期ノイズ x_0 から解 x_1 へと運びます。ここで必要になるのが、デノイザ D_t（ノイズ混じりの入力から「きれいな解の条件付き平均」を返す関数）と速度場 b_t の関係で、次の式で復元できます。

[ b_t = (D_t(x) - x) / (1 - t) ]

つまり「デノイザが予測した解」と「今のノイズ状態」の差を、残りのノイズ量 (1 - t) で割れば、その瞬間に進むべき方向＝速度が得られます。

さらに、同じ周辺分布を持つ確率的積分（SDE）の族も存在します。確率性パラメータ γ を導入して SDE として積分すると、経験的に決定論的な ODE（γ = 0）よりも性能と解の多様性が良くなります。ノイズを完全に消し去るのではなく、途中で少し揺らしながら運ぶ方が、解の空間をうまく探索できるというわけです。

テスト時計算を伸ばす2つのつまみ

推論時に計算を増やす方法は2通り用意されています。

時間グリッドを細かくする：訓練時より多いステップ数 n ≥ k で積分します。積分の刻みを細かくするほど精度が上がります。
アンサンブル：独立な推論を複数回走らせ、ACT ヘッド q が示す「成功確率」が最も高い予測を選びます（best-Q アンサンブル）。

直感的には、ループ型モデルの「ループ回数を増やす」操作を、フローの「積分ステップ数を増やす」という別のつまみで実現しています。しかも両者は排他的ではなく、細かい時間グリッドと多数のアンサンブルを同時に使えるため、計算量の調整幅が広いのが強みです。

flowchart LR
    X0["初期ノイズ x0"] --> I1["積分 step 1<br/>x, z を更新"]
    I1 --> I2["積分 step 2<br/>x, z を更新"]
    I2 --> D["…"]
    D --> X1["解 x1"]

ステップ数を増やすと、粗い積分では飛ばしてしまう中間状態を丁寧に追えるようになり、軌跡は滑らかになります。この「計算を積める」性質が、次のセクションで見る精度向上の直接の源になっています。

計算量を増やすと精度が上がる仕組み

推論ステップ数を増やすほど精度が上がる、というのが Looped Flows のいちばん分かりやすい売りです。ここでいう推論ステップ数とは、確率フローを数値積分する際の刻みの細かさ、つまり「時間グリッドの細かさ」のことです。Sudoku で検証された具体的な数字は明快で、推論ステップを 8 から 128 へ増やすと精度は 74.5% から 97.9% へ上昇しました。しかも 32 ステップの時点で、先行手法である GRAM をすでに追い抜いています。テスト時計算の効果が、単なる理論ではなく実測で確認できる数少ない例です。

なぜステップを増やすと効くのか。粗い積分は、ノイズから解へ向かう軌跡の途中を大きく飛ばしてしまいます。逆に細かい時間グリッドを使えば、その間の中間状態を丁寧に追いながら、少しずつノイズを減らして解へ近づけます。とくに難しい問題では、この中間計算こそが正解到達に必要になります。一足飛びに答えを出そうとすると届かないが、途中の状態を経由して積み上げていくことで解けるようになる、というわけです。

ここで「ループとは単なる繰り返しなのではないか」という疑問が浮かびます。もしモデルが最初の予測をそのまま反復しているだけなら、ステップをいくら増やしても精度は伸びないはずです。しかし実際には 8 から 128 への増加で精度が大きく伸びます。これは、モデルが各ステップで意味のある計算を積み上げており、反復のたびに状態が正解へ近づいている証拠と解釈できます。

ステップ数と精度の関係は、おおむね次のように整理できます。

推論ステップ数	Sudoku 精度の挙動
8	74.5%（粗い積分では中間状態を取りこぼす）
32	先行手法 GRAM を追い抜く
128	97.9%（細かい積分で中間状態を丁寧に追える）

flowchart LR
    S8["8 ステップ<br/>粗いグリッド"] --> A["中間状態を飛ばす<br/>精度 74.5%"]
    S32["32 ステップ"] --> B["GRAM を追い抜く"]
    S128["128 ステップ<br/>細かいグリッド"] --> C["中間状態を丁寧に追う<br/>精度 97.9%"]

一方で、この仕組みには「ズル」の心配もつきまといます。Looped Flows は全ステップで同じノイズと解を共有するため、理論上は線形結合でノイズを打ち消し、解を直接取り出せてしまいます。ただし著者らは、局所最適化と stop-gradient の性質上このショートカットは学習されにくいと論じます。そして何より、ステップ数を増やすほど実際に精度が伸びるという事実が、ショートカットに逃げていない何よりの根拠になっています。実務上は問題にならない、というのが著者らの立場です。

まとめると、計算量を増やすほど精度が上がるのは、(1) 細かい時間グリッドが粗い積分では飛ばしてしまう中間状態を丁寧に追えること、(2) その中間計算が難しい問題の正解到達に効くこと、そして (3) モデルが反復のたびに意味のある計算を積んでいること、の3点に支えられています。

実験結果——ARC-AGI と Sudoku で何が変わったか

ARC-AGI と Sudoku という2つの難関ベンチマークで、Looped Flows は先行手法を明確に上回りました。ここでは数値を1つずつ確認しながら、「何がどれだけ変わったのか」を整理します。ベンチマークとは、モデルの推論能力を比較するための共通テストのことです。ARC-AGI は少数の例から抽象的な規則を見抜く能力を測り、Sudoku-Extreme は制約充足型のパズルを解く能力を測ります。単一軌道評価（1回の推論で出した答えをそのまま採点する方式）での結果は次のとおりです。

ベンチマーク	Looped Flows	比較対象
Sudoku-Extreme	97.9%	TRM 87.4% / FPRM 94.2%
Maze-Hard	86.7%	FPRM 87.0%（ほぼ互角）
ARC-AGI-1	58.8%	TRM 44.6% / GRAM 52.0%
ARC-AGI-2	12.2%	TRM 7.8% / GRAM 11.1%

Sudoku では 97.9% と、ほぼ満点に近い水準に達しました。とくに注目したいのは ARC-AGI-1 の 58.8% です。同系統の TRM が 44.6%、変分推論で解の分布を扱う GRAM が 52.0% だったことを踏まえると、一段上のスコアです。より難度の高い ARC-AGI-2 でも 12.2% と、TRM の 7.8% を大きく上回っています。なお Maze-Hard だけは FPRM の 87.0% に対し 86.7% とほぼ互角で、すべてのタスクで圧勝というわけではない点は正直に押さえておきたいところです。

この結果が驚きなのは、モデルが極めて小さいからです。Sudoku で約5M、それ以外のタスクで約7M パラメータしかありません。しかも TRM と同じアーキテクチャ・同じ前処理を使い、時間条件づけのための投影層と時間埋め込みを足しただけで、パラメータの増加は約5%にとどまります。計算資源も現実的で、Sudoku・迷路・N-Queens・Graph Coloring の代表的な訓練は約1〜5時間、ARC でも1〜2日で回ります（H100 や L40S など）。自宅 GPU や単一アクセラレータで手が届く規模と言ってよいでしょう。

xychart-beta
    title "ARC-AGI-1 スコアの推移（パラメータ 5〜7M 級）"
    x-axis ["HRM", "TRM", "FPRM", "GRAM", "Looped Flows"]
    y-axis "精度 (%)" 0 --> 60
    bar [40.3, 44.6, 47.5, 52.0, 58.8]

スコア以上に重要なのが、学習された再帰の性質です。約65,000問を分析したところ、TRM は 12.6% の問題で失敗していました。その内訳は、答えに収束しない「非収束」が 88.3%、誤った不動点に落ち着いてしまう「偽のアトラクタ」が 11.7% です。これに対し Looped Flows は、非収束の 89.9%、偽のアトラクタの 98.0% を回復し、結果として TRM の失敗のうち 90.9% を解決しました。つまりこの手法は、単に精度を積み上げただけでなく、ループ型モデル特有の「不安定な再帰」という病理そのものを治しています。テスト時計算の「つまみ」を回すほど計算を積めるという性質と、この安定性の改善が同時に手に入っている点が、実験結果のいちばんの意味です。

複数解を出せる——確率輸送の副産物

これまで見てきたのは「正解が1つに定まる問題」での性能でした。だが実務のタスクには、正解が複数あるものも多いです。N-Queens は n×n の盤面に n 個のクイーンを互いに攻撃しないように置く問題ですが、配置の仕方は多数存在します。Graph Coloring も、隣接するノードが同じ色にならないように塗る、という条件を満たす塗り分けが複数あります。こうした解が複数あるタスクでは、「たった1つの答えを当てにいく」モデルは本質的に不利になります。テスト時計算の文脈では、制約充足問題（条件をすべて満たす割り当てを探す問題）の集合をどれだけ網羅できるかが重要になるからです。

Looped Flows はここで、生成モデルとしての素の性質を副産物として活かします。フローはノイズから出発し、そのノイズを時間方向に運んでデータ分布上の点へと写像します。この確率輸送（probability transport）という仕組みのおかげで、異なる初期ノイズをサンプリングすれば、それらはそれぞれ異なる有効解へ運ばれます。20回の独立した推論を回せば、20通りの候補を回収できるというわけです。1回の推論で唯一の答えを出すのではなく、複数の妥当解を候補として並べられる点が、決定論的な積分だけを行う場合との大きな違いです。

flowchart LR
    N["ノイズ<br/>（複数の初期サンプル）"] --> F["学習済みの確率フロー<br/>（時間方向に積分）"]
    F --> S1["有効解 A"]
    F --> S2["有効解 B"]
    F --> S3["有効解 C"]

成果は数値にもはっきり表れています。ここでいう精度は「返した解が制約を満たす割合」、カバレッジは「存在する有効解のうちどれだけ回収できたかの割合」と捉えると分かりやすいです。N-Queens 8×8 では精度 99.9%・カバレッジ 91.4%、より大きな 10×10 でも精度 94.4%・カバレッジ 61.5% を達成しました。Graph Coloring でも、精度・カバレッジの両方で GRAM などの既存手法を上回っています。また、確率性パラメータ γ を入れた確率的積分（SDE、γ=5）は、決定論的な積分（ODE、γ=0）よりも一般にカバレッジと妥当性を改善します。ノイズをあえて残しながら運ぶことが、多様な解への分岐を後押ししているのです。

実務的な意味は大きいです。制約充足や組合せ設計のように「複数の妥当解を候補として出し、その中から選ぶ」場面では、同一モデルから多様性を引き出せること自体が価値になります。しかもこの多様性は、精度を犠牲にして得ているわけではありません。同じ重みのまま初期ノイズと積分のパラメータを変えるだけで、1つの解に収束させる使い方と複数解を並べる使い方を使い分けられます。単一の答えを当てる道具としても、候補を広げる道具としても機能する点が、この手法の応用上の強みです。

何が効いているのか——アブレーションから見える設計原則

アブレーション（ablation）とは、ある構成要素を意図的に外して性能を測り、その要素がどれだけ効いているかを確かめる実験手法です。Looped Flows では、訓練側の要素をひとつずつ外したときにどれだけ精度が落ちるかが ARC-AGI-1 で比較されています。フル構成の 58.8% を基準にすると、時間条件づけを外すと 56.4%、補間（interpolant、ノイズと解を混ぜ合わせる中間状態）を使わないと 51.5%、両方を外すと 43.6% まで下がります。この二つは組み合わせると効果が足し算以上に大きいことが分かります。

構成	ARC-AGI-1 精度
フル構成	58.8%
時間条件づけなし	56.4%
補間（interpolant）なし	51.5%
時間条件づけ・補間の両方なし	43.6%
ノイズを単調減少させない	51.6%
ノイズを共有しない	56.4%

時間方向の関連づけに関する要素もそれぞれ寄与しています。ノイズを単調に減らさないと 51.6%、ノイズを共有しないと 56.4% まで落ちます。つまりフロー定式化そのもの・時間的に整合したデノイジング・ノイズの共有が、いずれも性能を支えています。この三つは単独でも意味がありますが、時間の流れに沿って「だんだん易しくなる課題」を並べるからこそ、隠れ状態が次のステップで自然に再利用されるという効果が生まれます。

推論側でも違いが出ます。確率性パラメータ γ を入れた確率的積分（SDE、γ>0）は、決定論的な常微分方程式（ODE、γ=0）より総じて良く、Sudoku では 97.6% から 97.9%、ARC-AGI-1 では 57.5% から 58.8% へと改善します。ただし ODE でも多様性はある程度保たれるため、用途によっては決定論的な積分でも十分に機能します。ここでのポイントは、精度の大半が訓練時の設計から来ており、推論側の選択はその上に上乗せする形で効くという点です。

最後に再帰そのものの必要性も確認されています。再帰を持たないフロー（FLM 系）は訓練データを丸暗記してしまい、未知の問題にまったく汎化しません。self-conditioning（前回の予測を条件として与える仕組み）を足せば改善するものの、ノイズを下げながら再帰状態そのものを学習する Looped Flows が最も良いという結果です。ここから導ける設計原則は明快です。局所的な目的で訓練しつつ、時間方向に関連づけられたタスク列の中で隠れ状態を使い回させる——それが「計算を積み上げられる再帰」を育てます。

flowchart TD
    A["フル構成 58.8%"] --> B["ノイズ単調減少を外す 51.6%"]
    A --> C["補間を外す 51.5%"]
    A --> D["時間条件づけを外す 56.4%"]
    A --> E["ノイズ共有を外す 56.4%"]
    B --> F["補間も外す 43.6%"]

なぜこれが嬉しいのか——ローカルLLM・推論エンジニアへの含意

Looped Flows の意義は、スコアの高さだけでなく「小さなモデルでも本格的な推論が回る」ことを示した点にあります。ここまでの話を、ローカル環境で LLM や推論エンジンを動かすエンジニアの視点に引き寄せて整理しておきましょう。

小さいモデルで強い推論ができる。 Looped Flows は Sudoku で約 5M、その他のタスクで約 7M というパラメータ規模で ARC-AGI-1 58.8% / ARC-AGI-2 12.2% を達成しました。7M 級というのは、自宅の GPU 1 枚やモバイル向けアクセラレータでも訓練・推論が現実的な範囲です。大規模クラスタを前提にしない実験対象として、趣味のローカル環境でも扱いやすいでしょう。

推論コストを「回す量」で調整できる。 精度と計算量のトレードオフが、時間グリッド（積分ステップ数）とアンサンブル数という分かりやすい2つのつまみで制御できます。Sudoku では推論ステップを 8 から 128 に増やすと精度が 74.5% から 97.9% へと上昇し、5 軌道のアンサンブルではさらに伸びます。レイテンシ要件の厳しい場面ではステップ数を絞り、時間に余裕がある場面では増やす、といった動的な計算量調整と相性が良いです。

つまみ	上げたときの効果	トレードオフ
時間グリッド（積分ステップ数）	難問での中間計算を丁寧に追え精度が上昇	ステップ数に比例して推論コスト増
アンサンブル数	best-Q 選択で成功率が上昇	軌道数分だけ推論を繰り返す

学習の安定化という実利。 ループ型モデルには「収束しない」「偽の不動点（誤った解に落ち着く）」という不安定な再帰の病理がありました。Looped Flows は TRM が失敗したケースのうち約 90.9% を回復しており、これは単に精度が上がったというより、推論基盤としての信頼性を底上げしたことを意味します。非決定的に失敗するモデルは運用に載せにくいので、安定化そのものが実務上の価値になります。

LLM との関係。 Looped Flows は現状 LLM そのものではなく、ARC や Sudoku のような構造化推論タスク向けの小規模モデルです。ただし「局所的な目的関数で訓練しつつ、時間方向に関連づけたタスク列で隠れ状態を使い回させる」という発想は、将来の言語モデルにおける推論層の設計に転用できる可能性があります。巨大な事前学習済みモデルに頼らず推論能力を伸ばす道筋として、注目しておく価値は十分にあります。

まとめると、Looped Flows は「精度」「計算量」「モデルサイズ」の三角関係のうち、モデルサイズを小さく保ったまま精度と計算量を柔軟に動かせる角を改善し、さらに再帰の安定性という別軸の信頼性も引き上げました。ローカル環境で推論を試すエンジニアにとって、手元で回せる規模のまま扱える選択肢が増えた、と捉えると分かりやすいです。

flowchart TD
    L["Looped Flows 7M パラメータ"]
    L --> A["精度: ARC-AGI-1 58.8% / Sudoku 97.9%"]
    L --> B["計算量: 積分ステップ数・アンサンブルで調整可"]
    L --> C["安定性: 不安定な再帰の病理を大幅に緩和"]
    A --> D["結果: レイテンシ要件に応じた動的な推論設計が可能"]
    B --> D
    C --> D

限界と今後の課題

Looped Flows はループ型モデルの弱点を大きく改善しましたが、万能ではありません。ここでは、その適用範囲と残された課題を整理します。

適用範囲は構造化推論ベンチマークに限られる。 本手法が成果を示したのは Sudoku、迷路、N-Queens、Graph Coloring、そして ARC-AGI といった、答えの形式が明確で制約が構造化されたタスクです。自然言語によるオープンエンドな推論や、ツールを呼び出しながら動くエージェント運用に、そのまま効くかどうかは検証されていません。7M パラメータ級の小さなモデルが強いのは、こうした問題設定で「反復改善」が効きやすいからであり、汎用的な言語推論への拡張は今後の課題として残っています。

推論コストはステップ数に比例して増える。 フロー積分は時間グリッドを細かくするほど計算量が増えるため、高精度を得るには 128 ステップ級の積分が必要になる場面もあります。計算を積めば精度が上がるという利点は、同時に「常に安いわけではない」という制約でもあります。レイテンシ要件が厳しい用途では、ステップ数と精度のバランスを実測して決める必要があります。

ショートカットの可能性は理論上排除できない。 全ステップで同じノイズと解を共有する設計は、線形結合によってノイズを消し、解を直接取り出してしまう「ズル」を理論上許します。著者らは、局所最適化と勾配停止の性質上この抜け道は学習されにくく、実際にステップ数を増やすと精度が伸びることを根拠に、実務上は問題にならないと論じています。ただしこれは経験的な議論であり、厳密な保証ではない点は留意したいところです。

著者らが挙げる今後の方向性は「シミュレーション不要（simulation-free）の訓練アルゴリズム」です。 現状の訓練はフローの軌道をシミュレーションしながら損失を計算する必要があり、その分だけ手間がかかります。Looped Flows の利点——局所目的で訓練できること、時間方向に関連づけた再帰を学べること——を保ったまま、軌道のシミュレーションを省ける手法が開発されれば、訓練コストと実装の複雑さはさらに下がるでしょう。

周辺の設計空間も急速に広がっています。 不動点を明示的に扱う FPRM、解の分布を変分推論で表現する GRAM、各再帰ステップにノイズを注入する PTRM、ノイズ注入でアトラクタ地形そのものを改善する EqR など、ループ型推論の亜種が相次いで提案されています。Looped Flows はこれらと競合するだけでなく、「時間方向の関連づけ」という観点を加えることで、今後の再帰モデル設計に共通の指針を与える可能性があります。どの方向が生き残るかは、自然言語タスクへの拡張と推論コストの削減にかかっています。

よくある質問

ループ型モデルと RNN は何が違うのですか？

広い意味ではどちらも再帰（同じ仕組みを繰り返し適用すること）を使う点で共通していますが、狙いが異なります。RNN は文や音声のような系列を左から右へ1ステップずつ処理するための構造です。一方、ループ型モデルは系列を扱うこと自体が目的ではなく、z_i = f(z_{i-1}, c) のように同じパラメータの関数 f を繰り返し通して、推論時の「実効的な深さ」と計算量を増やすことを狙います。Sudoku や ARC-AGI のような構造化されたパズルを、反復改善によって少しずつ正解に近づける用途で使われます。

なぜ BPTT（時間方向の逆伝播）をそのまま使わないのですか？

BPTT はループの全ステップをさかのぼって誤差を伝える学習法ですが、メモリと計算のコストがステップ数に比例して増え、勾配消失や爆発で不安定になりやすいという弱点があります。そこで実務では各ステップで勾配を止める（stop-gradient）局所目的が使われますが、これだと後ろのステップの損失が前の状態に学習信号を返さないため、早期ステップを「将来役立つ計算」として訓練しづらくなります。Looped Flows はこの弱点を、フローの局所目的と時間方向の関連づけで補っています。

「フロー」や「拡散モデル」と何の関係があるのですか？

フロー／拡散モデルは、画像生成などで使われる技術で、各時刻のノイズ除去（デノイジング）を独立した局所目的として訓練するだけで、全体としてノイズからデータへ向かう整合した流れを学習できるのが特徴です。Looped Flows はこの性質を借り、デノイザ（ノイズ混じりの入力からきれいな解を予測する関数）を「状態を持つ」形にして、再帰の隠れ状態そのものを同時に訓練します。画像生成の道具立てが、推論モデルの学習安定化に転用されているわけです。

推論時に計算を増やすと本当に精度が上がるのですか？

はい。Sudoku の実験では、推論ステップ数を 8 から 128 に増やすと精度が 74.5% から 97.9% へ上昇し、32 ステップの時点で先行手法を追い抜きました。もしモデルが最初の予測をそのまま繰り返しているだけなら、ステップを増やしても精度は伸びないはずです。実際に伸びるという事実が、各ステップで意味のある計算を積み上げている証拠になります。

自分のローカル環境で試せますか？

モデルは Sudoku で約 5M、その他で約 7M パラメータと小さく、訓練は 1〜5 時間（Sudoku・迷路・N-Queens・Graph Coloring）から 1〜2 日（ARC）程度で回る規模です。ただしフロー積分はステップ数に比例して推論コストが増えるため、まずは Sudoku のような小さいタスクで挙動を確認するのが現実的でしょう。本論文固有の公式実装は執筆時点で公開されていないため、TRM 系の実装を土台にするのが近道です。

まとめ

Looped Flows が取り組んだのは、ループ型モデルが長く抱えてきた「勾配が数ステップしか通らない」という根本問題です。同じパラメータを繰り返し適用して隠れ状態を更新するモデルでは、全ステップを時間方向に逆伝播させるのが現実的でなく、各ステップで勾配を止める局所目的に頼らざるを得ません。その結果、後段の損失が前段の状態に学習信号を返さず、早期ステップを「将来役立つよう」訓練できません。Looped Flows はここにフロー／拡散モデルの道具立てを持ち込み、局所デノイジング目的と時間方向の関連づけ——ノイズレベルを時間とともに単調に下げ、同じ問題・同じ解・同じノイズを全ステップで共有する——を組み合わせることで、この弱点を回避しました。互いに無関係なタスクを並べるのではなく、だんだん易しくなる関連タスクの連続として解かせるカリキュラム学習と見なせる工夫です。

もう一つの革新は、推論を確率フローの積分として定式化した点にあります。学習したデノイザが定める速度場を時間方向に数値積分し、隠れ状態とフロー状態を同時に更新します。この見方により、時間グリッドを細かくするほど計算を積み上げられる仕組みと、異なる初期ノイズサンプルが異なる妥当解へ運ばれる確率輸送による多様性を、同じ枠組みで同時に手に入れました。Sudoku では推論ステップを8から128へ増やすと精度が 74.5% から 97.9% へ上昇し、途中で先行手法を追い抜きます。もし最初の答えを繰り返すだけなら精度は伸びないはずで、実際に伸びることが「意味のある計算を積んでいる」証拠になります。

成果は数値にも表れています。7M パラメータ級という小さなモデルで ARC-AGI-1 58.8% / ARC-AGI-2 12.2% を達成し、TRM の 44.6% / 7.8% を大きく上回りました。Sudoku-Extreme でも 97.9% に達しています。さらに約65,000問の分析では、TRM が失敗した問題のうち約9割を回復し、ループ型モデル特有の「収束しない」「偽の不動点に落ちる」という不安定な再帰の病理を治しました。精度だけでなく推論基盤の信頼性を改善した点が重要です。

総じて Looped Flows は、テスト時計算の新しい「つまみ」と、フロー／拡散の道具立てを推論に持ち込む設計思想を提示しました。精度・計算量・モデルサイズのトレードオフを、時間グリッドとアンサンブル数という分かりやすい操作で調整できる点は、ローカル環境で推論モデルを動かすエンジニアにとって実利的な含意を持ちます。現状の対象は構造化推論ベンチマークが中心ですが、局所目的で再帰を訓練するという発想は、今後の推論モデルやエージェント設計に示唆を与え続けるでしょう。

参考資料

Thinking with Looped Flows（arXiv:2609.11801） — https://arxiv.org/abs/2609.11801
Hierarchical Reasoning Model（arXiv:2506.21734） — https://arxiv.org/abs/2506.21734
Less is More: Recursive Reasoning with Tiny Networks / TRM（arXiv:2510.04871） — https://arxiv.org/abs/2510.04871
TRM 公式実装（GitHub, SamsungSAILMontreal/TinyRecursiveModels） — https://github.com/SamsungSAILMontreal/TinyRecursiveModels
ARC-AGI 公式（ベンチマーク定義・設計思想） — https://arcprize.org/arc-agi

エージェント・ループはいつ停滞を進歩と誤認するのか？長期実行自律LLMエージェント・ループにおける自己評価バイアスと外部 grounding の検証