NTT「トークン共通化」が崩した語彙の壁——異種LLMが共通言語で連携する時代の幕開け
はじめに——「AI同士は会話できなかった」という意外な事実
2026年4月22日、NTTが発表した一本のプレスリリースが、生成AI業界に静かな衝撃を走らせた。「LLM間の『語彙の壁』を克服する世界初の『トークン共通化』技術を確立」——一見すると地味な研究発表に見えるが、その内容はAIエコシステムの土台を書き換える可能性を秘めている。論文「Lossless Vocabulary Reduction」は、4月23日から27日までブラジル・リオデジャネイロで開催されている深層学習の最難関国際会議ICLR 2026で発表された。
GPT、Claude、Gemini、tsuzumi——名だたるLLMは互いに「言葉が通じない」という驚くべき事実をご存知だろうか。同じ日本語の文章でも、各モデルが内部で扱う「最小単位（トークン）」の切り方が違うため、出力結果を直接組み合わせることができない。この見えない断絶が、複数AIの協調による高性能化を阻んできた。NTTはこの壁を、精度を一切落とさず取り払う理論とアルゴリズムを世界で初めて打ち立てた。本稿では、この技術の意味と、その先に開ける景色を多角的に読み解く。
背景——LLMが抱えていた「語彙の壁」とは
LLMはテキストを「トークン」と呼ばれる部分単位に切り分けて処理する。たとえば「富士山」という文字列は、あるモデルでは「富士山」と1つのトークンに、別のモデルでは「富士」「山」の2つに、さらに別のモデルでは「富」「士」「山」と1文字ずつに分解される。各モデルは独自にトークン語彙集合を設計しており、その規模は数万〜数十万に及ぶ。
この語彙の不一致が、LLM連携の最大の障壁だった。複数モデルの予測を統合して精度を上げる「アンサンブル」、あるモデルの専門学習結果を別のモデルへ移す「ポータブルチューニング」——いずれも、各モデルが同じトークン候補上で確率分布を計算できなければ成立しない。これまで研究者たちは「単語単位での結合」「翻訳的な仲介層の挿入」など回避策を試みてきたが、いずれも精度劣化や計算コスト増を伴い、本質的解決には至らなかった。
詳細①——NTTが打ち立てた「ロスレス語彙縮小」の原理
NTTの技術が革新的なのは、語彙不一致を「回避する」のではなく、「精度を一切落とさず縮小・共通化する」理論を新たに構築した点だ。出力される文章の確率分布が変わらないことを数学的に保証した上で、モデルの推論に使うトークン候補を任意に絞り込めるアルゴリズムを実装している。
仕組みの肝は確率の「再分配」にある。たとえば共通語彙から「富士山」を除外した場合、本来そのトークンに割り当てられるはずだった確率が宙に浮く。NTTの手法は、この確率を「富士」と「山」のような構成要素のトークンに、文章全体の傾向を保ったまま分配する。複雑な言い換えをすれば、モデルが「富士山」と書こうとした意図を「富士」「山」という2回のトークン出力に翻訳しても、最終的な文章レベルの確率分布は同一になる、という保証をつけたわけだ。
実験ではトークン数約15万のモデルAと約13万のモデルBに対して、共通して持つ最大語彙集合（最大共通語彙）を約6万4000トークン規模で抽出。両モデルをこの共通語彙の上で推論させ、確率分布を平均するシンプルなアンサンブルを行ったところ、数学タスクの正解率はモデルA単体27.86％、モデルB単体26.14％、既存アンサンブル19.57％に対し、新手法では30.29％へと有意に向上した。既存手法ではむしろ単体より精度が落ちていた点に、語彙不一致問題の根深さが表れている。
詳細②——「計算コストはほぼ増えない」という実用上の決定打
理論的に美しい技術でも、実用化には計算コストがしばしば壁になる。語彙変換には本来、追加の計算が必要だ。NTTはここに二つの工夫で答えを出した。第一に、過去の計算結果のキャッシュ再利用。第二に、確率がほぼゼロのトークン候補に対する計算の省略である。
これらにより、共通語彙上での推論は通常のLLM推論と同等のコストで動作する。研究室の中だけで成立する原理ではなく、現実のサービング環境にそのまま載せられる「実装可能な理論」になっている点が、この成果を産業的に意味あるものにしている。
詳細③——NTT「tsuzumi」とポータブルチューニングを束ねる戦略
この発表は単発のものではない。NTTは2025年7月に「ポータブルチューニング」——あるLLMで特化学習した知識を、再学習なしで別の基盤モデルへ転移させる技術——を発表しており、今回のトークン共通化はその対象を「同一語彙のモデル間」から「任意の異種モデル間」へと拡張する役割を果たす。組み合わせれば、ある領域に特化チューニングしたtsuzumiの知識を、海外の汎用モデルに「上書きインストール」するような運用が現実に近づく。
NTT独自の日本語特化LLM「tsuzumi」、特に2026年4月から提供開始した軽量・高性能版「tsuzumi 2」（1GPUで推論可能）にとって、この技術の意味は大きい。汎用性能で巨大モデルに正面から張り合うのではなく、日本語処理や産業ドメイン知識に強いtsuzumiを、海外勢の汎用モデルとアンサンブルで組み合わせる「協調戦略」が技術的に成立する。医療AI基盤を医学書院・NTTドコモビジネスと共同開発する事例（2026年4月発表）など、ドメイン特化のtsuzumiとグローバル基盤モデルを密に連携させる構想は、まさにこの土台の上で花開く構図だ。
影響と今後——AIの「モジュール化時代」を加速する共通プロトコル
この技術がもたらす長期的なインパクトは、AIの「モジュール化」を一段と加速させる点にある。一社が巨大な単一モデルですべてを担う時代から、目的ごとに最適なモデルを組み合わせる時代へ——その移行に欠けていたのが、モデル間の「共通言語」だった。NTTはそれを学術論文として公開し、ICLRというオープンな国際舞台で発表した。原理的には誰もが追試・実装できる。
産業面では、開発元・時期・サイズの異なるモデル群を「混ぜて使う」インフラサイドの整備が進むだろう。プロプライエタリな大規模モデルとオープンウェイトモデル、英語特化モデルと日本語特化モデル、推論速度重視の小型モデルと品質重視の大型モデル——それぞれの強みを動的に組み合わせる新しい運用が現実的になる。
一方で課題も明確だ。第一にバイアスの増幅リスク。複数モデルの確率分布を共通語彙上で集約する際、各モデルが持つ偏りがそのまま、あるいは強められて出力に反映される可能性がある。第二にインフラコスト。複数モデルを同時稼働させる以上、エネルギー消費と運用負荷は増える。第三にガバナンス。EU AI Actが求める透明性や説明可能性の観点で、「どのモデルがどの判断を担ったか」の追跡が複雑化する。アンサンブルの責任所在の整理は、規制側の新しい論点になるだろう。
まとめ——静かな発表が示す「次の10年の基盤」
NTTのトークン共通化技術は、派手な新モデル発表のような話題性は持たないかもしれない。だが、生成AIが「単一の最強モデル」を競う段階から、「複数の専門モデルを束ねる協調」へと移る転換期において、その移行を支える共通プロトコルになり得るピースだ。GPT、Claude、Gemini、tsuzumi——これらが互いに「言葉が通じる」未来は、抽象論ではなく具体的なアルゴリズムとして提示された。
地味だが効く——日本のAI研究が世界の土台に置いた一手として、しばらく注視に値する。次に問われるのは、NTT自身がこれをtsuzumiエコシステムにどう組み込み、海外勢の追従にどう先行するかだ。ICLR 2026の発表を皮切りに、ベンチマーク競争はモデル単体性能から「組み合わせ性能」へと軸足を移し始めるかもしれない。
参考ソース
- NTT公式ニュースリリース「LLM間の『語彙の壁』を克服する世界初の『トークン共通化』技術を確立」（2026年4月22日）
https://group.ntt/jp/newsrelease/2026/04/22/260422a.html
- NTTトピックス「深層学習分野の難関国際会議ICLRにNTTグループから6件採択」（2026年4月23日）
https://group.ntt/jp/topics/2026/04/23/iclr2026.html
- IT Leaders「NTT、複数AIモデルの知識を統合・転用する技術を確立、トークン変換で連携の障壁を排除」（2026年4月23日）
https://it.impress.co.jp/articles/-/29277
- Impress Watch「NTT、LLM間の"語彙の壁"克服 異種LLMを連携可能に」（2026年4月22日）
https://www.watch.impress.co.jp/docs/news/2103773.html
- innovaTopia「NTT、世界初『トークン共通化』技術を確立—異種LLM間の"語彙の壁"がついに崩れる」（2026年4月26日）
https://innovatopia.jp/ai/ai-news/98653/
- IBTimes JP "NTT Breaks Vocabulary Barrier Between Heterogeneous AI Language Models"
https://jp.ibtimes.com/ntt-breaks-vocabulary-barrier-between-heterogeneous-ai-language-models-100659