Tencent「Hy4 preview」の衝撃——770B MoEと1bit量子化「MIX-STQ」が切り拓くオープンフロンティアAIの新時代
2026年8月28日、中国テンセント（Tencent / 騰訊）は、最新の大規模言語モデル（LLM）フラッグシップとなる「Hy4 preview（混元 4 Preview）」を電撃公開し、重みを完全オープンソース（Apache License 2.0）として無償公開した。
総パラメータ数 7,700億（770B）、1トークンあたりのアクティブパラメータ数 490億（49B） という巨大な Mixture of Experts（MoE）構造を持ち、最大 100万トークン（1M context） の超長文コンテキスト処理に対応する。さらに、実務的なソフトウェアエンジニアリングやコード改修能力を測定する「SWE Atlas Refactoring」および「SWE-bench Pro」において、商用クローズドの最高峰である「GPT-5.6 Sol」を上回るスコアを叩き出し、AI研究者や開発者コミュニティに大きな衝撃を与えている。
しかし、今回の発表で最も技術者を驚かせたのは、単なるモデル規模やベンチマークの数値だけではない。同時に公開された「MIX-STQ1_0」と呼ばれる適応型ハイブリッド量子化技術により、本来なら約 1.5TB（1,500GiB）もの巨大なVRAMを要する770Bモデルを、わずか 214GiB（約200GiB）という驚異的なサイズまで圧縮し、しかも性能劣化を極小に抑えてローカルやオンプレミス環境で実用動作可能にした点にある。
本稿では、Tencent Hy4 preview がもたらした技術的ブレイクスルーの全貌、MoEアーキテクチャと1Mコンテキストの設計思想、1.31-bit〜2.06-bitを巧みに使い分ける「MIX-STQ」量子化メカニズム、そして自社GPUサーバーやホームラボ環境でフロンティア級AIを動かす実践的なシステム要件までを徹底的に解説する。
1. Tencent Hy4 preview の基本スペックと全体像
まずは、Hy4 preview の基本仕様と提供形態を整理しよう。
基本スペック一覧
| 項目 | 詳細仕様 |
|---|---|
| モデル名 | Tencent Hy4 preview (Hunyuan 4 Preview) |
| 開発元 | Tencent Hy Team（騰訊混元チーム） |
| アーキテクチャ | Mixture of Experts (MoE) / スパース活性化 |
| 総パラメータ数 | 7,700億パラメータ (770B) |
| アクティブパラメータ数 | 490億パラメータ (49B) (770B-A49B) |
| 最大コンテキスト長 | 1,000,000トークン (1M context) |
| ライセンス | Apache License 2.0（完全オープンウェイト、商用利用制限なし） |
| 配布形式 | BF16オリジナル（1.5TB）、GGUF量子化版（Q4_K_M: 435GiB、MIX-STQ1_0: 214GiB） |
| 対応推論エンジン | vLLM（公式Docker）、SGLang（公式Docker）、llama.cpp / Ollama（GGUF対応） |
| ファインチューニング基盤 | DeepSpeed、LLaMA-Factory、ms-swift |
| API提供価格 (TokenHub) | キャッシュ入力: $0.042 / 1M、通常入力: $0.834 / 1M、出力: $2.501 / 1M |
オープンフロンティアモデルの到達点
2024年から2025年にかけて、オープンウェイトLLMは Llama 3 や Qwen 2.5、DeepSeek-V2/V3 などを経て急速に進化してきた。しかし、「実務的なコーディングエージェント」「数十万行におよぶリファクタリング」「最先端の科学推論」といったフロンティア領域では、依然として OpenAI（GPT-5系）や Anthropic（Claude 4/5系）などの超巨大クローズドモデルが絶対的な優位を保っていた。
Hy4 preview の登場は、この構図に決定的な変化をもたらした。770Bという巨大な知識容量をバックボーンに持ちながら、トークン生成時には49Bのエキスパートのみを駆動させることで、高精度と現実的な推論速度を両立。さらに、利用制限のない Apache License 2.0 で重みが提供されているため、世界中の企業や研究者がコードベースの改変、社内閉塞網へのデプロイ、独自データによる追加学習を完全な自由度で行える。
2. ベンチマークが示す「実務性能」の飛躍
Tencentが公開した技術レポートおよび独立系ベンチマーク検証（hoteye-go/hy4-preview-codex-benchmark 等）において、Hy4 preview は40以上の評価指標で突出した性能を示している。
コーディング・エージェント領域での逆転現象
特に注目すべきは、実際のGitHubリポジトリに対するIssue解決や自律改修能力を測定するベンチマーク結果である。
【SWE Atlas Refactoring ベンチマーク比較（スコア）】
1. Tencent Hy4 preview : 84.6 ★ [Open Weight / Apache 2.0]
2. GPT-5.6 Sol : 83.2 [Closed API]
3. Claude Opus 5 : 82.9 [Closed API]
4. Qwen3.8 Max : 79.4 [Open Weight]
5. GLM-5.3 : 78.8 [Open Weight]
6. DeepSeek V4 Pro (0813) : 78.1 [Open Weight]
7. Hy3 (前世代 295B) : 68.3 [Open Weight]
従来のモデルは、単一関数の生成や小規模なバグ修正（HumanEval等）では高得点を取れても、複数の依存関係が絡み合う数千行クラスのコードベースのリファクタリングでは、文脈の喪失や整合性の破綻（ハルシネーション）を起こしやすかった。
Hy4 preview では以下の要因により、エージェントの実務遂行能力が飛躍している：
- 1Mトークンの長文アテンション保持力: プロジェクト全体のファイル構成、型定義、テストコードを丸ごとプロンプトに投入しても、論理的な破綻をきたさない「ニードル・イン・ア・ヘイスタック（針探し）」精度の維持。
- 多段階計画と自己検証（Planning & Self-Verification）: 与えられた指示を自律的にサブタスクへ分解し、ツール実行結果（エラーログや構文解析結果）をフィードバックして修正を繰り返す推論ループの安定性。
- コーディングエージェントへの即日統合: すでにオープンソースの自律エージェントツールである「Cline」や「Codex CLI」等で正式サポートされ、開発現場への即時投入が始まっている。
3. なぜ「1.5TB」が「214GiB」に縮むのか？ MIX-STQ1_0の技術革新
770Bという規模のモデルを運用する際、最大の壁となるのが「メモリ要件（VRAMフットプリント）」である。
従来の量子化が抱えていた限界
通常の16ビット浮動小数点（BF16 / FP16）では、パラメータ1つにつき2バイトのメモリを消費するため、770Bモデルの重みだけで 約1,540GB（1.54TB） の容量が必要となる。
これを削減するために、一般的な4ビット量子化（INT4 / Q4_K_M）を適用しても 約435GB が必要であり、依然として80GBのデータセンター向けGPU（NVIDIA H100/A100）が最低6枚必要であった。
一方、全レイヤーを一律に1ビット〜2ビットに圧縮する極端な低ビット量子化（Pure 1-bit / 2-bit）を行うと、重要な注意機構（Attention）や言語の文脈理解を担う層で情報が失われ、モデルが意味不明な出力を繰り返す「壊滅的精度低下（Catastrophic Degradation）」に陥るのが常識とされていた。
【量子化手法と必要VRAM・精度の比較】
┌─────────────────────────┬──────────────┬──────────────────┬──────────────────────┐
│ 量子化方式 │ 必要VRAM容量 │ 圧縮比率 (BF16比)│ 実用精度・性能維持率 │
├─────────────────────────┼──────────────┼──────────────────┼──────────────────────┤
│ オリジナル (BF16) │ 約 1,500 GiB │ 1.0x (基準) │ 100% (フルスペック) │
│ 標準4bit (Q4_K_M) │ 約 435 GiB │ 約 3.4x │ 約 99.2% │
│ 従来の一律2bit (IQ2_S) │ 約 240 GiB │ 約 6.2x │ 約 81.5% (劣化大) │
│ MIX-STQ1_0 (Tencent) │ 約 214 GiB │ 約 7.0x │ 約 97.8% (ほぼ同等) │
└─────────────────────────┴──────────────┴──────────────────┴──────────────────────┘
AngelSlimが開発した「適応型ハイブリッド量子化」の仕組み
Tencent傘下の圧縮技術チーム「AngelSlim」は、このトレードオフを打破する「MIX-STQ1_0（Mixed Sensitivity-aware Ternary/Quantization）」を開発した。
その核心アイデアは、「すべての層を一律に縮めるのではなく、キャリブレーションデータに基づいて層ごとに最適なビット幅を動的に割り当てる」ことにある。
┌──────────────────────────────────────────────┐
│ Tencent Hy4 preview (770B) │
└──────────────────────┬───────────────────────┘
│
┌────────────────────────────┴────────────────────────────┐
▼ ▼
【感度の低い大部分の層 (FFN等)】 【感度が高い重要な層 (Attention等)】
┌────────────────────────────────┐ ┌────────────────────────────────┐
│ 1.31-bit STQ1_0 │ │ 2.06-bit IQ2_XXS │
│ - 徹底的にメモリを削減 │ │ - 表現力・精度を厳格に保護 │
│ - スパースなエキスパートに適用 │ │ - アテンション・ヘッドに適用 │
└────────────────────────────────┘ └────────────────────────────────┘
│ │
└────────────────────────────┬────────────────────────────┘
▼
┌───────────────────────────────────────────┐
│ 合成VRAM容量: 約 214 GiB (圧縮率 7倍) │
│ ベンチマーク精度: BF16比 97.8% 維持 │
└───────────────────────────────────────────┘
- 感度解析（Sensitivity Analysis）: キャリブレーション用データセットをモデルに流し込み、各層・各テンソルの重みを微小に変化させた際の出力損失（Loss）の変動を測定。
- 選択的低ビット割り当て:
- 活性化頻度が低く、情報冗長性の高い大部分のエキスパート層（FFN）には、極限まで無駄を削ぎ落とした 1.31-bit STQ1_0 を適用。
- トークン間の長距離依存関係や構文解析を担うアテンション層（Self-Attention / QKVプロジェクション）には、表現力の高い 2.06-bit IQ2_XXS や一部3bit/4bit重みを残す。
- 結果としての超高効率: 全体の平均ビット幅を約1.4bit〜1.5bit相当に抑え込みながら、出力品質のベンチマークスコアはBF16版と比較してわずか2%前後の低下にとどめることに成功した。
4. 自前環境で動かすためのハードウェア構成ガイド
MIX-STQ1_0によって、770Bという従来はメガクラウド専用だった怪物が、中小企業のオンプレミスサーバーやハイエンドなホームラボ環境で稼働可能になった。具体的にどのようなハードウェアで動かせるのかを検証する。
構成例1: エンタープライズ・オンプレミス構成（PCIe GPUサーバー）
- GPU: NVIDIA RTX 6000 Ada（48GB VRAM）× 5枚、または NVIDIA RTX A6000（48GB）× 5枚
- 合計VRAM: 240 GB
- メリット: 214GiBのモデル重みを丸ごとVRAMに展開し、数十万トークンのKVキャッシュ用メモリ領域も確保可能。企業内の閉塞環境で毎秒20〜30トークンの快適な推論速度を実現。
構成例2: コンシューマー・マルチGPUクラスタ（コスト最適化）
- GPU: NVIDIA GeForce RTX 5090（32GB VRAM）× 7枚、または RTX 4090 / 3090（24GB VRAM）× 9枚
- 合計VRAM: 216 GB 〜 224 GB
- メリット: 中古GPUや自作ラックマウントサーバーを活用することで、クラウドの長期利用コストに比べて圧倒的な低TCO（総保有コスト）でフロンティア級モデルを専有運用。
構成例3: Apple Silicon ユニファイドメモリ・クラスタ（静音・省電力）
- 構成: Mac Studio（M2/M3/M4 Ultra、192GB Unified Memory）× 2台（Distributed llama.cpp / Exo による連携）
- メリット: 消費電力わずか数百ワットの静音環境で、770Bモデルのロードと検証が可能。
起動手順の例（vLLM / llama.cpp）
llama.cpp を用いて MIX-STQ1_0 版 GGUF を実行する場合のコマンドライン例：
# GGUFモデルのダウンロード (Hugging Faceから)
huggingface-cli download AngelSlim/Hy4-preview-GGUF \
--include "hy4-preview-MIX-STQ1_0-*.gguf" \
--local-dir ./models/hy4-preview-mix-stq
# llama.cpp server の起動 (マルチGPUに自動分散配置)
./llama-server \
-m ./models/hy4-preview-mix-stq/hy4-preview-MIX-STQ1_0-00001-of-00005.gguf \
-c 32768 \
--n-gpu-layers 999 \
--tensor-split 1,1,1,1,1 \
--host 0.0.0.0 \
--port 8000
5. API価格破壊とオープンエコシステムの地殻変動
自社ホスティングだけでなく、Tencent Cloud TokenHub や OpenRouter などのクラウド経由でのAPI提供価格も、業界の常識を覆す設定となっている。
驚異的なAPI価格設定
【100万トークンあたりのAPI料金比較（USD）】
┌─────────────────────────┬──────────────────────┬──────────────────────┬──────────────────────┐
│ モデル名 │ キャッシュ入力 │ 通常入力 │ 出力 │
├─────────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┤
│ Tencent Hy4 preview │ $0.042 (約6.7円) │ $0.834 (約133円) │ $2.501 (約400円) │
│ GPT-5.6 Sol (推定) │ $2.500 (約400円) │ $5.000 (約800円) │ $15.000 (約2,400円) │
│ Claude Opus 5 (推定) │ $3.750 (約600円) │ $15.000 (約2,400円) │ $75.000 (約12,000円) │
│ DeepSeek V3 (参考) │ $0.014 (約2.2円) │ $0.140 (約22円) │ $0.280 (約45円) │
└─────────────────────────┴──────────────────────┴──────────────────────┴──────────────────────┘
Hy4 preview の価格は、GPT-5.6 や Claude Opus といったフロンティア商用モデルの 10分の1から20分の1 という低価格である。特に「キャッシュ済み入力が100万トークンあたり約6.7円」という設定は、コードベース全体を常にプロンプトキャッシュに乗せて何度も問い合わせを行うコーディングエージェントにとって、月々の開発コストを劇的に圧縮する決定打となる。
6. よくある質問（FAQ）
Q1: Hy4 preview は商用利用できますか？
A: はい、完全に商用利用可能です。ライセンスはオープンソース標準の Apache License 2.0 で配布されており、ユーザー数や月間トークン利用量による制限条項（Llama等に見られるようなコミュニティライセンス制限）はありません。
Q2: 1bit量子化（MIX-STQ1_0）を使うと日本語の精度は落ちますか？
A: ベンチマーク検証によると、MIX-STQ1_0 はアテンション層の重みを2bit以上で保護しているため、文法構造の把握や複雑な敬語表現、日本語の長文要約タスクにおいても、オリジナルBF16版と遜色ない自然な日本語生成が確認されています。
Q3: 49Bアクティブパラメータとはどういう意味ですか？
A: Hy4 preview は「Mixture of Experts（MoE）」アーキテクチャを採用しています。モデル全体には7,700億（770B）のパラメータが存在しますが、1つのトークンを処理する際に計算を行うのは、その中からタスクに応じて動的に選ばれた490億（49B）のパラメータ（エキスパート）のみです。そのため、推論時の計算負荷（FLOPS）は49Bモデル相当に抑えられ、高速なレスポンスが得られます。
Q4: vLLM や SGLang でのデプロイは可能ですか？
A: はい、公式から vllm/vllm-openai:hy4-preview および lmsysorg/sglang:hy4-preview のDockerイメージが提供されており、OpenAI互換サーバーとしてワンコマンドでデプロイ可能です。ツール呼び出し（Tool Calling）にもネイティブ対応しています。
7. まとめと今後の展望
Tencent「Hy4 preview」のオープンソース公開と「MIX-STQ1_0」量子化技術は、AI業界における2つの大きな固定観念を同時に打破した。
- 「最高峰のエージェント・コーディング性能はクローズドAPIでしか手に入らない」という神話の崩壊
- 「700B超のフラッグシップモデルを社内GPU環境で動かすのは不可能」というインフラの壁の打破
コードや機密データを外部の米系クラウドに一切送信できない金融機関、医療機関、防衛関連組織、あるいは自社専用のコード生成AIをローカルで手元に構築したい開発者にとって、Hy4 preview は2026年後半における最強の選択肢となった。
AIモデルの進化競争は、単なる「パラメータ数の肥大化」から、「MoEによるスパース効率化」「超長文コンテキストの実用性」「適応型低ビット量子化によるエッジ・ローカル展開」が三位一体となった新たな実用フェーズへと突入している。
参考ソース
- Tencent Hy4 preview Official Research Blog
- Hugging Face: tencent/Hy4-preview
- Hugging Face: AngelSlim/Hy4-preview-GGUF
- GIGAZINE: TencentがAIモデル「Hy4 preview」を公開、一部テストでGPT-5.6 Solを上回る＆213GBまで軽量化した1bit量子化版も公開される
- GitHub: hoteye-go/hy4-preview-codex-benchmark