推論トークンは本当に元を取れるのか?——LLMの「考えるコスト」を測る Token Economy Score(TES)
はじめに:精度だけでは見えない「推論税」
同じ質問を投げかけても、推論モデル(reasoning model)は回答の前に思考チェーン(thinking chain)と呼ばれる内部の「考える」過程を生成するため、指示追従モデルの数倍から数十倍のトークンを消費します。精度は確かに上がりますが、その代償——本記事では「推論税(reasoning tax)」と呼びます——を定量的に測る指標は、これまでほとんど提供されてきませんでした。
精度だけを比較する「Accuracy-only benchmarking(精度のみのベンチマーク)」は、システムを実際に運用する現場の問いに答えられません。フロンティア推論モデルのベンチマーク評価1回に2,700ドル超がかかる事例が報じられるようになり、「このタスクで推論をONにすると精度1ポイントあたりいくら払うのか」「努力量を上げれば本当に得をするのか」といった費用対効果の判断が、無視できない課題になっています。
本記事は、Lenovo ISGによる実測研究(151件のモデル×ベンチマーク評価、7ベンチマーク、8モデルファミリー。TPCTC 2026採録・Springer LNCS刊行予定)を題材に、次の3つの問いに答えます。
- どのタスク構造なら推論トークンは元を取るのか
- 努力量を上げるとどうなるのか
- クラウドAPIとオンプレ環境で経済性はどう変わるのか
判断の道具として、推論の費用対効果を表すTES(Token Economy Score)、内部思考に消えるコストの割合を示すRCS(Reasoning Cost Share)、オンプレ展開のコスト優位性を示すDCM(Deployment Cost Multiplier)を順に解説します。この記事を読み終えた時点で、読者は「どのタスクで・どの努力量で・どの環境で推論を有効化するか」を、数値の根拠を持って自分で判断できるようになるはずです。
背景:推論モデルとは何か、なぜ「考える」ほどトークンが増えるのか
推論モデル(reasoning model)とは、回答を出力する前に「思考チェーン(thinking chain)」と呼ばれる内部的な推論過程を生成するLLMのことです。通常の指示追従モデルがプロンプトを受け取って即座に答えを書き始めるのに対し、推論モデルはまず問題を分解し、仮説を立て、途中経過を検証しながら結論へ到達します。この流れの基礎は「Chain-of-Thought(思考の連鎖)プロンプティング」(Wei et al., 2022)にあり、その後、OpenAI o1が強化学習によって思考を延長・最適化する方式を実用化し、DeepSeek-R1がオープンウェイトで同様の能力を公開しました。Qwen3は思考トグルでON/OFFを切り替えられるようにし、Claudeの拡張思考やGemini 3系もこの「考える」機能を備えています。現在ではフロンティアモデルの大半が推論モードを標準搭載しています。
flowchart LR
subgraph standard["指示追従モデル"]
A1[プロンプト] --> B1[回答生成] --> C1[最終回答<br/>少ないトークン数]
end
subgraph reasoning["推論モデル"]
A2[プロンプト] --> B2[思考チェーン生成<br/>(内部の推論過程)] --> C2[最終回答生成] --> D2[最終回答<br/>数倍〜数十倍のトークン数]
end
この「考える」過程こそがコストの正体です。LLMの生成トークンは「思考トークン+最終回答トークン」で構成され、推論モデルは指示追従モデルと比べて数倍〜数十倍のトークンを消費し得ます。トークンはAPI課金・GPU計算時間・レイテンシに比例するため、推論の有効化はそのまま「推論税」として請求されることになります。実際、フロンティア推論モデルのベンチマーク評価1回に2,700ドル超がかかる事例も報告されており、精度の指標だけでは費用対効果の判断が破綻し始めています。モデル選定の現場では「このタスクで推論をONにすると、精度1ポイントあたりいくら払うのか」を数値で把握する必要があるのです。
先行研究に目を向けると、OckBenchのPer-Token IntelligenceやLLMThinkBench(基本算術での過剰思考の検証)は「絶対精度÷トークン数」という絶対効率の指標です。これらは「1トークンあたりどれだけ賢いか」を測りますが、実務者が知りたいのは「推論をONにしたことで、非推論モデルと比べて何ポイント得をしたか」という限界利得です。本論文のTES(Token Economy Score)はこの後者——推論を有効化することによる精度の限界利得を、生成トークン倍率で割った指標——を測る点に新規性があります。同じ「トークンと精度の関係」でも、絶対効率と限界効率では答えられる問いが根本的に異なります。
Token Economy Score(TES)とは:推論の「費用対効果」を測る新指標
TESの定義と計算式
Token Economy Score(TES)は、推論モデルと非推論モデルの差を費用対効果の観点から数値化する指標です。推論モデルとは、回答の前に思考チェーンを生成するLLMのことで、精度は上がる一方で数倍〜数十倍のトークンを消費します。TESはこの「精度で何ポイント稼いだか」を「トークンが何倍になったか」で割る限界効率として、次の式で定義されます。
TES =(推論モデルの精度 − 非推論ベースラインの精度)÷(生成トークン倍率)
生成トークン倍率は「推論モデルの生成トークン数 ÷ 非推論ベースラインの生成トークン数」で、生成トークン=思考トークン+出力トークンとします。入力トークンを分子・分母に含めないのは、入力がベンチマークのプロンプトと評価ハーネスで決まり、モデルの推論挙動を反映しないためです。解釈の目安は次の3領域に分かれます。
| 領域 | 判定 | 意味 |
|---|---|---|
| TES > 1 | 高効率 | 精度の利得がトークンコストを上回る |
| 0 < TES ≤ 1 | 限界 | 精度は上がるがコストとの釣り合いが微妙 |
| TES ≤ 0 | 無駄・有害 | 過剰思考で精度が下がるケースを含む |
flowchart TD
A[TESを計算] --> B{TES > 1?}
B -- はい --> C[高効率:推論ONを推奨]
B -- いいえ --> D{0 < TES <= 1?}
D -- はい --> E[限界:コスト許容と要件で判断]
D -- いいえ --> F[TES <= 0:推論を切る・努力を下げる]
TES=1は「精度1ポイントの利得がトークン1倍のコストと釣り合う」損益分岐点として設定された実務者向けの規約で、精度要件や予算に応じて閾値は調整可能です。
2つの変種:TES-ΔとTES-A
TES-Δ(ペア比較)は、同一モデルファミリー内で思考トグルをON/OFFに切り替えたペアを比較する方式です。Qwen3系のように同じモデルで思考の有無を制御できる場合が理想的な条件で、クローズドモデルでは「ベンダーが提供する推論版と非推論版のペア」として解釈します。モデルの能力差が混ざらないため、推論を有効化した純粋な効果だけを測れます。
TES-A(近似ベースライン)は、非推論版が存在しないフロンティアモデル(Gemini系など)向けに、評価時点で最高性能の非推論モデルをベースラインとして代理する方式です。モデル間の能力差と推論効果が混ざる点は意図的な設計で、実務上の選択が「現実に購入できる代替案」との比較になるためです。両者の違いは次の表の通りです。
| 変種 | ベースライン | 測定対象 | 適用例 |
|---|---|---|---|
| TES-Δ | 同一ファミリーの非推論版 | 推論有効化の純粋な効果 | Qwen3系(思考トグル) |
| TES-A | 最高性能の非推論モデル | 能力差込みの実務的利得 | Gemini系 |
151回の評価から見えた真実:タスク構造が推論効率を決める
7つのベンチマーク(IFBench=指示追従、MMLU-Pro/GPQA Diamond=知識想起、AIME 2025/LiveCodeBench=逐次推論、HLE=フロンティア推論、CritPt=研究レベルの物理)に対し、27モデル構成・8ファミリー(GPT、Claude、DeepSeek、Qwen、Gemini、Grok、GLM、Gemma)を組み合わせた151回の評価を実施した結果、中心的な発見が浮かび上がりました。推論効率は「難易度」ではなく「タスク構造」で決まるのです。
高効率を示したのは、途中の出力が後段の推論を制約する「逐次推論チェーン」型のタスクです。AIME 2025(数学コンテスト)は平均TES 6.27±2.77で突出し、LiveCodeBench(コード生成)とIFBench(指示追従)も平均TESが1を超えました。証明・プログラム合成・デバッグでは、思考が候補を絞り込み、その制約が最終精度に直接効くため、考えることがそのまま利得になります。
一方、MMLU-Pro(平均TES 0.65±0.56)やGPQA Diamondは、学術的な難易度が高いにもかかわらず低効率でした。知識想起タスクでは記憶にない事実を追加思考で回復できず、さらに非推論ベースラインの精度が高いと「精度の頭上がり(headroom)」が圧縮されます。思い出せない問題に思考トークンを費やしても、答えは出ずコストだけが膨らむのです。
| タスク構造 | 代表ベンチマーク | 平均TES | 推論の効果 |
|---|---|---|---|
| 逐次推論チェーン | AIME 2025 | 6.27±2.77 | 高(思考が直接精度に効く) |
| 逐次推論チェーン | LiveCodeBench/IFBench | 1超 | 高 |
| 知識想起・飽和 | MMLU-Pro | 0.65±0.56 | 低(headroom圧縮) |
| 知識想起・科学 | GPQA Diamond | 低 | 低 |
xychart-beta
title "タスク構造別の平均TES"
x-axis ["AIME 2025", "LiveCodeBench", "IFBench", "MMLU-Pro", "GPQA Diamond"]
y-axis "平均TES" 0 --> 9
bar [6.27, 1.4, 1.2, 0.65, 0.4]
この結果の含意は明確です。同じ「難しい問題」でも、数学コンテストと知識クイズでは推論の意味が根本的に異なります。逐次推論タスクでの推論有効化は「精度を買う」行為ですが、知識想起タスクでは推論を切る(または非推論モデルに切り替える)方が経済的に正しいのです。難易度や体感ではなく、タスク構造を基準に推論のON/OFFを決める——これが151回の評価から導かれる最初の実務ルールです。
努力量を上げると収穫逓減:オーバーシンキングの代償
努力量(reasoning effort)をAPIパラメータとして公開するモデルファミリー(GPT 5.x、DeepSeek V4 Proなど)では、「どれだけ考えるか」を medium/high/max のように段階指定できます。この努力レベルを上げたときの限界TES(次の段階で得られる精度利得をトークン倍率で割った値)を実測すると、全ファミリーで収穫逓減が確認されました。その姿は3つのパターンに整理できます。
努力量を上げると絶対精度は多くのタスクで上昇しますが、消費トークンの増加がそれを上回るため、限界TESは上げるほど急減します。GPT-5.2のAIME 2025では、medium→xhighでTESが8.049→3.758に半減してもなお正の値でしたが、MMLU-Proでは1.333→0.303へとほぼ崩壊しました。努力の追加は効率を著しく悪化させるのです。
収穫逓減の速度もタスク構造で決まります。途中出力が後段を制約する逐次推論チェーン(AIME 2025、LiveCodeBench)は高努力に耐えます。一方、知識想起タスクでは努力を1段階上げるごとにトークンが倍増し、精度利得が追いつきません。
さらに深刻なのは、最大努力で絶対精度が低下するケースが実測されたことです。DeepSeek V4 ProはGPQA Diamondでhigh→maxに上げると精度が1.7ポイント低下し、消費トークンは2.74倍に膨らみました。GPT-5.2もLiveCodeBenchで-0.5ポイントのマイナスとなりました。これがオーバーシンキング(過剰思考)の実害です。
| モデル | タスク | 努力遷移 | 精度変化 | トークン倍率 | TESの推移 |
|---|---|---|---|---|---|
| GPT-5.2 | AIME 2025 | medium→xhigh | 上昇 | 増加 | 8.049→3.758 |
| GPT-5.2 | MMLU-Pro | medium→xhigh | ほぼ横ばい | 大幅増 | 1.333→0.303 |
| DeepSeek V4 Pro | GPQA Diamond | high→max | -1.7pp | 2.74倍 | 低下 |
xychart-beta
title "努力レベルとTES:AIME vs MMLU-Pro"
x-axis [medium, high, xhigh]
y-axis "TES" 0 --> 9
line [8.049, 5.5, 3.758]
line [1.333, 0.6, 0.303]
なぜ努力を上げると精度が下がるのか。タスク固有の推論飽和点を過ぎると、追加トークンは「誤った代替案の生成」「指示ドリフト(元の指示からの逸脱)」「検証ノイズ(正解の再確認を妨げる雑音)」をもたらします。思考は増えても情報量は増えず、むしろ正答を遠ざけてしまうのです。
対処法は「test-and-scale」ワークフローです。代表的な検証セットでmedium/highから始め、次の努力レベルへの限界TESを測定してから上げます。最大努力はタスク・モデル固有の設定であり、難しいタスクのデフォルトにすべきではありません。実測が先、努力の追加はその後です。
お金の話:RCSとDCMで読む「展開コスト」
Reasoning Cost Share(RCS):推論コストの9割以上は「考える」ことに消える
RCS(Reasoning Cost Share)は、総推論コストに占める思考チェーン(内部思考トークン)の割合を示す指標です。「思考チェーンコスト ÷ 総推論コスト」で定義され、最終回答のテキスト生成に使われた分を除いた「考える」コストがどれだけ大きいかを直接表します。
実測では、全推論実行の中央値が94.7%に達しました。フロンティアモデルの一部はRCSが99%を超え、最終回答テキストに使われるトークンは1%未満というケースも観測されています。さらに努力量を上げるとRCSは上昇します。GPT-5.5はGPQA Diamondでhighの76.7%からxhighの85.5%へ推移しており、「努力を上げる=より多くのコストが思考へ再配分される」ことを意味します。
この含意はエージェント系システムで特に重要です。検索・ルーティング・整形・短文回答のようなタスクでは、内部思考に消えるコストがそのまま無駄になります。隠れた思考が精度に直結する逐次推論タスクでは高いRCSは正当化されますが、そうでないワークロードでは非効率の最大要因になり得るのです。
Deployment Cost Multiplier(DCM):オンプレは同じ仕事を2〜26倍安くできる
DCM(Deployment Cost Multiplier)は「同一ワークロードのクラウドAPIコスト ÷ オンプレコスト」で定義される展開コスト倍率です。オンプレ側の前提は8×NVIDIA B300・FP16構成で、5年TCO約$101.3万を毎秒$0.00633の償却コストに換算し、トークン単価を算出しています。実測値は以下の通りです。
| モデル | アーキテクチャ | DCM |
|---|---|---|
| Qwen3.5-397B-A17B | MoE | 25.6倍 |
| Qwen3.6-27B | Dense | 20.0倍 |
| Qwen3-235B-A22B | MoE | 13.6倍 |
| Gemma 4 26B-A4B | MoE | 4.5倍 |
| Qwen3-32B | Dense | 2.8倍 |
| Gemma 4 31B | Dense | 2.0倍 |
MoE(Mixture of Experts)モデルはスパース活性化によりアクセラレータ時間あたりのスループットが高く、オンプレ優位が構造的です。一方DenseモデルはクラウドAPI価格次第でDCMが縮む余地があります。具体例を見ると、Qwen3.5-397B-A17BのGPQA Diamond実行はクラウド$4.889に対しオンプレ$0.192、Qwen3-235B-A22BのMMLU-Proは$92.07→$6.85となります。後者はTES 0.340で「トークン効率は限界」ですが、オンプレなら反復実行が経済的に成立します。
重要なのは、DCMはTES(トークン効率比)自体を変えないという点です。変わるのは「そのTESを得るためのドルコスト」だけ。同じTESでも、オンプレなら「限界」だったワークロードが「成立」に変わるのです。
モデル選択の4象限
77件のTES比較を「TES(効率)× クラウド実行コスト(中央値$19.69/回)」の2軸で整理すると、モデル選択は4つの象限に分類できます。
quadrantChart
title モデル選択の4象限(TES × クラウド実行コスト)
x-axis "低コスト" --> "高コスト"
y-axis "低TES" --> "高TES"
quadrant-1 "Q1 推論デフォルトON"
quadrant-2 "Q2 選択的ON・オンプレ優先"
quadrant-3 "Q3 アプリ要件で判断"
quadrant-4 "Q4 推論OFF・非推論モデルへ"
| 象限 | 特徴 | 推奨アクション | 代表タスク |
|---|---|---|---|
| Q1 高TES×低コスト | 推論が安く効く | デフォルト有効化 | AIME、一部LiveCodeBench |
| Q2 高TES×高コスト | 効率は良いが単価が高い | 選択的有効化、反復実行はオンプレ優先 | HLE、LiveCodeBenchのフロンティア |
| Q3 低TES×低コスト | 絶対コストが小さい | アプリの精度要件で判断 | CritPt、一部GPQA/IFBench |
| Q4 低TES×高コスト | 最悪の組み合わせ | 推論を切る・努力を下げる・非推論モデルへ | MMLU-Pro、最大努力のHLE |
Q4に該当するタスク(知識想起系のMMLU-Proや最大努力のHLE)では、推論を切る、努力を下げる、あるいは強い非推論モデルに置き換えるのが経済的に正しい選択です。お金の話の結論は単純で、「推論をONにするか」は精度ではなく、RCSとDCMで見たドルコストとタスク構造で決めるべき、ということです。
エージェント系システムへの示唆:文脈窓は「推論予算」
単発のベンチマーク評価では、推論トークンは「1回の呼び出し」で完結するコストです。しかしマルチターンのエージェントでは、ステップjの出力がそのままステップkの入力になる「トークン複利(token compounding)」が働きます。思考チェーンを含む出力は次ステップの文脈に積み上がり続けるため、推論のコストは単発の和ではなく、パイプライン全体のコンテキスト圧力として増幅されます。総コストに占める思考の割合(RCS)の中央値が94.7%に達する高推論モデルをオーケストレータに使うと、この増幅はさらに大きくなります。
flowchart LR
A[ステップjの出力] --> B[ステップkの入力に累積]
B --> C[文脈圧力の増大]
C --> D[費用・遅延の複利増加]
高RCSモデルの思考チェーンは、その場の回答精度には寄与しても、コンパクトなタスク状態や再利用可能なメモリにはなりません。「推論の残骸(reasoning residue)」として文脈窓に残り続け、オーケストレータとサブエージェントが限られた文脈予算を取り合うことになります。検索結果やツールの戻り値など後段で参照する情報と、使い終わった思考トークンが同じトークン単価で文脈を消費する点が問題の核心です。
そこで、次の3つの運用ガイドラインが有効です。
| ステップ種別 | 推論の割り当て | 根拠 |
|---|---|---|
| 検索・ルーティング・整形・要約・定型ツール呼び出し | OFF(非推論・低努力) | 低TES。思考残骸が文脈を圧迫 |
| 計画・数学・コード生成・検証 | ON(推論を有効化) | 高TES。途中出力が後段を制約 |
- ステップ種別で推論を割り当てる:パイプライン単位ではなく、上表のようにステップごとに推論のON/OFFを決めます。
- 文脈窓を推論予算として扱う:推論有効ステップ数×ステップあたり生成トークンを見積もり、文脈窓の大きな割合を占めるなら、ステップ削減・努力低減・中間出力の要約を検討します。
- ステップ単位で努力量を制御する:中間ステップはmedium/highが安全です。最大努力は最終判断や高リスク検証など、パイプライン全体を左右するステップに限定します。
既存のエージェントベンチマーク(GDPval、APEX-Agents、τ²-Bench)はタスク完了率しか測りません。ステップ種別×トークン勘定×文脈成長を追跡する指標が必要であり、本論文のTESはその「単発呼び出しの基礎層」を提供します。文脈窓を「推論予算」として設計に組み込むことこそ、マルチターン時代の費用対効果の出発点になるのです。
実践ガイド:あなたのワークロードで推論をどう切り替えるか
推論モデルの費用対効果は、推論を有効化したことによる精度利得(ポイント)を生成トークン倍率で割ったTES(Token Economy Score)で測れます。このTESと、総コストに占める思考の割合RCS、クラウド対オンプレのコスト倍率DCMを実際のワークロードへ適用する判断フローを整理します。基本は「タスク構造 → 努力量 → 展開環境」の順に決めることです。難易度ではなく構造で推論のON/OFFを選ぶのが、151回の実測から得られた中心的なルールです。
flowchart TD
A[タスク構造を分類] --> B{逐次推論チェーンか?}
B -- はい --> C[推論ON デフォルト]
B -- いいえ --> D{知識想起・飽和タスクか?}
D -- はい --> E[非推論モデル or 低努力]
D -- いいえ --> F[フロンティア領域は選択的ON]
C --> G[努力量は medium/high から開始]
E --> G
F --> G
G --> H[検証セットで限界TESを測定]
H --> I{TES改善がトークン増を上回る?}
I -- はい --> J[次の努力レベルへ]
I -- いいえ --> K[現状維持・オンプレ移行を試算]
| # | チェック項目 | 判断の根拠となる実測値 |
|---|---|---|
| 1 | タスク構造を分類する(逐次推論/知識想起/飽和タスク/フロンティア領域) | 逐次推論は平均TES 6.27±2.77(AIME 2025) |
| 2 | 逐次推論なら推論ON、知識想起なら非推論モデルか低努力を検討 | 知識想起は平均TES 0.65±0.56(MMLU-Pro) |
| 3 | 努力量はmedium/highから開始し、検証セットで限界TESを測定してから上げる | 努力上昇で全ファミリーの限界TESが急減 |
| 4 | 反復実行する高TESワークロードはオンプレ(特にMoE)でコスト削減を試算 | MoEのDCMは13〜26倍 |
| 5 | 最大努力は「測定済みの証拠」があるときだけ | high→maxで精度-1.7ppの実測あり |
DCM値から「自前GPUサーバーでクラウドより安く同じTESを達成できるか」を逆算できます。クラウドAPIの実測コストをDCMで割ればオンプレのトークン単価が得られます。具体例として、Qwen3.5-397B-A17BのGPQA Diamond実行はクラウド$4.889からオンプレ$0.192(DCM 25.6倍)になります。TES(トークン効率比)自体は展開環境で変わりませんが、同じTESでも反復実行するワークロードならオンプレで「限界」が「成立」に変わるのです。
なお、DCMの前提は8×NVIDIA B300・FP16構成で、5年TCO約$101.3万を毎秒$0.00633の償却コストに換算したフル稼働時の値です。バースト的・低稼働の利用ではオンプレの実効単価が上がり、クラウドAPIが有利になる場合もあります。試算の際は、月間の推論トークン量がハードウェアの償却を満たすかを先に確認し、その上で「どのタスクで・どの努力量で・どの環境で」推論を有効化するかを決めてください。
よくある質問
TESは既存の「精度÷トークン数」指標(OckBench等)と何が違う?
OckBench等のPer-Token Intelligenceは、1つのモデルの精度を生成トークン数で割る「絶対効率」です。TES(Token Economy Score)は推論モデルの精度を非推論ベースラインと比較し、その差を生成トークン倍率で割る「限界効率」であり、「推論をONにするか否か」という選択そのものを測ります。実務者が損益分岐を判断したい場面では、絶対効率では答えられない問いに答える点が本質的な違いです。
TESが低いタスクでも推論を使うべき場面はある?
あります。モデル選択の4象限でいえばQ3(低TES×低コスト)は絶対コストが小さいため、アプリケーションの精度要件で判断できます。TESは絶対精度と併読すべきで、限界効率が低くても最終精度が要件を満たすなら採用は合理的です。
なぜ努力量を上げると精度が下がることがあるのか?
オーバーシンキング(過剰思考)によるものです。タスク固有の推論飽和点を越えると、追加トークンが誤った代替案の生成・指示ドリフト・検証ノイズをもたらします。実測でもDeepSeek V4 Pro(GPQA Diamondでhigh→maxに上げて精度-1.7ポイント・トークン2.74倍)やGPT-5.2(LiveCodeBench)で精度低下が確認されています。
オンプレとクラウド、どちらが得なのか?
同じモデル・同じ仕事でもDCM(クラウドAPIコスト÷オンプレコスト)は2〜26倍の幅があり、MoEモデルは13〜26倍、Denseモデルは2〜4倍でオンプレが有利です。ただしDCMは8×NVIDIA B300をフル稼働させる前提の値で、バースト的・低稼働の利用ならクラウドが勝る場合もあります。反復実行する高TESワークロードこそオンプレの検討対象になります。
エージェントではなぜ推論コストがさらに問題になるのか?
トークン複利のためです。マルチターンではステップの出力が次の入力になり、推論トークンが1回のコストからパイプライン全体のコンテキスト圧力へと変質します。高RCSモデルは思考の残骸(reasoning residue)を文脈窓に残すため、ステップ種別ごとの推論割り当てと努力量制御が必要になります。
まとめ
本記事で扱った3つの問い——タスク構造・努力量・展開環境——への回答は、次の表のように整理できます。
| 問い | 結論 | 代表的な実測値 |
|---|---|---|
| どのタスクで推論が元を取るか | 逐次推論チェーンは高TES、知識想起は低TES | AIME 2025平均TES 6.27±2.77 vs MMLU-Pro平均TES 0.65±0.56 |
| 努力量を上げるとどうなるか | 限界TESは急減し、最大努力では精度低下も | DeepSeek V4 ProのGPQA Diamond:精度-1.7ポイント・トークン2.74倍 |
| クラウドとオンプレでどう変わるか | オンプレMoEはクラウド比2〜26倍安く「限界」を「成立」に変える | Qwen3.5-397B-A17BのDCM 25.6倍、GPQA実行$4.889→$0.192 |
中心となるメッセージは一つです。推論(reasoning)は「普遍的に有益なモード」ではなく、タスク構造・努力量・展開環境の3軸で選択的に有効化するモードです。数学コンテストやコード生成では考えることが直接精度を押し上げますが、知識想起や飽和タスクではトークンが無駄に消え、努力を上げすぎると精度が下がることもあります。だからこそ、精度とトークン倍率の比であるTES、思考に消えるコストの割合を示すRCS、展開コストの倍率を示すDCMを組み合わせて判断することが有効です。
解釈にあたっては限界も押さえておいてください。本指標はベンチマーク平均のトークン計測に依存して外れ値の影響を受けやすく、Gemini系のTES-Aは非推論ベースラインの近似のためモデル能力差と推論効果が混交します。コスト量は2026年5月末時点のAPI価格に依存し、単発ターン前提の指標です。per-problem不確実性やheadroom正規化、マルチターンエージェント向けのagentic TESは今後の発展課題であり、当面は相対的な目安として使うのが適切です。
論文のデータと再現コードはGitHub(Sachin-Wani/reasoning_tax、CC BY 4.0)で公開されており、読者自身のワークロードでも151件分の実測を再計算・検証できます。精度リーダーボードの時代は終わり、「推論1ポイントの値段」を問う時代へ。次のAI選定は、accuracyではなくeconomyで語られることになるでしょう。
参考資料
- 論文(一次情報):The Reasoning Tax: Token Economics of LLM Reasoning Across Task Types and Deployment Contexts — https://arxiv.org/abs/2608.26235
- コード・データリポジトリ:Sachin-Wani/reasoning_tax(GitHub、CC BY 4.0) — https://github.com/Sachin-Wani/reasoning_tax
- OpenAI o1 System Card — https://cdn.openai.com/o1-system-card.pdf
- DeepSeek-R1(arXiv:2501.12948) — https://arxiv.org/abs/2501.12948
- Qwen3 Technical Report(arXiv:2505.09388) — https://arxiv.org/abs/2505.09388
- OckBench: Measuring the efficiency of LLM reasoning(arXiv:2511.05722) — https://arxiv.org/abs/2511.05722
- ReEfBench: Quantifying the reasoning efficiency of LLMs(arXiv:2601.03550) — https://arxiv.org/abs/2601.03550
- Do LLMs overthink basic math reasoning?(arXiv:2507.04023) — https://arxiv.org/abs/2507.04023
- Chain-of-thought prompting(NeurIPS 2022) — https://arxiv.org/abs/2201.11903
- MMLU-Pro(arXiv:2406.01574) — https://arxiv.org/abs/2406.01574
- GPQA(arXiv:2311.12022) — https://arxiv.org/abs/2311.12022
- HLE(arXiv:2501.14249) — https://arxiv.org/abs/2501.14249
- LiveCodeBench(arXiv:2403.07974) — https://arxiv.org/abs/2403.07974
- IFBench: Generalizing verifiable instruction following(arXiv:2507.02833) — https://arxiv.org/abs/2507.02833
- CritPt(arXiv:2509.26574) — https://arxiv.org/abs/2509.26574
- MathArena(arXiv:2505.23281) — https://arxiv.org/abs/2505.23281
- GDPval(arXiv:2510.04374) — https://arxiv.org/abs/2510.04374
- APEX-Agents(arXiv:2601.14242) — https://arxiv.org/abs/2601.14242
- τ²-Bench(arXiv:2506.07982) — https://arxiv.org/abs/2506.07982
- Wiggers, K.: "The rise of AI reasoning models is making benchmarking more expensive." TechCrunch — https://techcrunch.com/2025/04/10/the-rise-of-ai-reasoning-models-is-making-benchmarking-more-expensive/
- Wani, S.G.: On-premise vs. cloud: Generative AI total cost of ownership (2026 edition), Lenovo Press LP2368 — https://lenovopress.lenovo.com/lp2368
- Artificial Analysis(モデル精度・トークン数・API価格のデータソース) — https://artificialanalysis.ai/evaluations