ZGCM-1-7B 完全解説——「小さなモデルは、外へ探しに行く」256Kコンテキストと数学推論を両立した全公開基盤モデル

ZGCM-1とは何か — 7.39Bの「全部見せ」モデルが示す新しい前提

ZGCM-1は、中関村アカデミー（Zhongguancun Academy）と中関村人工知能研究院がスクラッチから学習した7.39Bパラメータのdense（密）型基盤モデルです。dense型とは、Mixture-of-Expertsのようにトークンごとに使うパラメータを切り替えず、推論時に全体のパラメータを使う構成を指します。2026年9月11日にarXiv:2609.13356として公開され、最大の特徴は「Fully Open（完全オープン）」という宣言にあります。

「オープンウェイト」と「Fully Open」は似て非なるものです。オープンウェイトは学習済みの重みだけを公開する形態で、上流のフィルタリング基準、中訓練のカリキュラム、長文脈への拡張スケジュール、マルチターンのエージェント軌跡は非公開のブラックボックスになりがちです。ZGCM-1は前処理から事後訓練までの各段階をそのまま提示しており、「なぜその性能が出たのか」を学習の過程まで遡って再現・検証できます。

設計思想は一文でこう表現されています。小型モデルはオープンウェブを受動的に丸暗記することはできない。しかし意図的な内部思考（deliberate thinking）と能動的な外部ツール利用（active external seeking）を組み合わせれば、パラメータ容量の限界を超えられる。 知識を「記憶」ではなく「検索と推論で補う」方向に最適化したモデルだと言い換えられます。実装上の柱は、256Kトークンのコンテキストと、単一の重みセットで「熟考モード（think）」と「即答モード（no-think）」を切り替えられる点です。

flowchart LR
    A["7.39Bという限られた容量"] --> B["オープンウェブの受動的な丸暗記は不可能"]
    B --> C["意図的な内部思考<br/>deliberate thinking"]
    B --> D["能動的な外部ツール利用<br/>active external seeking"]
    C --> E["256Kコンテキスト上での推論とツール操作"]
    D --> E
    E --> F["パラメータ容量の限界を超える"]

公開リソースは、モデル重み（https://huggingface.co/zgcagi/ZGCM-1-7B ）、データ（https://huggingface.co/datasets/zgcagi/ZGCM-1-Data ）、学習コード（https://github.com/zgcagi/ZGCM-1 、MITライセンス）の3点です。モデル名の「1」はシリーズの初版を意味し、論文の投稿時点ではv1のみが存在します。学習コードに同梱されるサードパーティ製コンポーネントには、それぞれ別のライセンス表記が付きます。

なぜ今、7Bモデルが重要なのか — 「スケールの壁」と「透明性の壁」

7B級モデルの重要性を語るとき、しばしば「小さいから速い」「安い」という利点だけが挙げられます。しかしZGCM-1の論文が提示するのは、もう少し構造的な問題意識です。第一の障壁はスケールの壁（Scale Barrier）です。高度な数学推論や深いエージェント検索は、数百億〜数千億パラメータ級のシステムの専有物と見なされてきました。その結果、計算資源の限られた研究者や小規模チームは、そもそも土俵に上がれないという状況が生まれています。

第二の障壁は透明性の壁（Opacity Barrier）です。競争力のあるモデルの多くは「オープンウェイト」であって「オープンソース」ではありません。学習済みの重みは公開されていても、上流のフィルタリング手法、中訓練（Mid-Training）のカリキュラム、長文脈への拡張スケジュール、マルチターンのエージェント軌跡は非公開のままです。この状態では、特定の性能が「なぜ出たのか」を外から検証することも、同じ手法を別の条件で再現することもできません。

ZGCM-1は、この2つを同時に崩す試みとして位置づけられています。すなわち、アカデミックな計算予算でも訓練・推論できる高効率なフルスタックレシピの提示です。対抗策は4本柱に整理できます。

flowchart LR
    B1["スケールの壁<br/>高度な推論・エージェント検索は<br/>巨大モデルの専有物"] --> M1["ハイブリッド注意<br/>長文脈の計算・メモリコスト削減"]
    B1 --> M2["FP8＋Muon等のシステム共設計<br/>学習効率の引き上げ"]
    B2["透明性の壁<br/>上流フィルタ・カリキュラム・<br/>エージェント軌跡が非公開"] --> M3["16K→64K→256Kの段階的中訓練<br/>獲得過程を公開"]
    B2 --> M4["AIネイティブな研究開発<br/>データ・評価まで公開"]
    M1 --> G["アカデミックな計算予算で<br/>訓練・推論できるフルスタックレシピ"]
    M2 --> G
    M3 --> G
    M4 --> G

ここから読者が持ち帰れる視点は明快です。7B級モデルが実用になるかどうかは、パラメータ数の大小の勝負ではありません。限られた容量を何に割り当て、足りない分をどう外部から取りに行くかという情報設計の問題です。同じ問いは、自前のGPUでモデルを動かす実務家にとっても「どの規模を選び、どこをツールに任せるか」という判断基準に直結します。スケールの壁は、ただ大きくする以外の方法でも押し返せる——これが2026年に7Bモデルを改めて見直す理由です。

アーキテクチャ — スライディングウィンドウとグローバル注意のハイブリッド設計

ZGCM-1-7Bの骨格は、与えられたトークン列の続きを左から右へ予測するdecoder-only型のTransformerです。GQA（クエリのヘッド群でKVヘッドを共有しKVキャッシュを抑える注意機構）、RMSNorm、SwiGLU、RoPE（回転位置埋め込み）といった標準部品の上に、長文脈向けの効率化を重ねています。

中心となるのがハイブリッド注意（Hybrid Attention）です。32層のうち27層はゲート付きスライディングウィンドウ注意（Gated SWA）で、直近128トークンだけを参照します。スライディングウィンドウ注意とは、各トークンが全系列ではなく固定幅の近傍だけに注意する方式で、計算量を系列長に対して線形に抑えられます。残る5層は全コンテキストに注意するグローバル層で、ローカル対グローバルの比率は5:1です。

グローバル層は6・12・18・24・30層目に配置され、「ローカル5層＋グローバル1層」のブロックを5回繰り返したあと、末尾にローカル2層が続きます（最後のグローバル層は0始まりで29層目）。この5:1という比率はGemma 3がプロダクション規模で採用したものと同一で、独自の新機構というより実績ある構成を自らの条件で再検証して取り込んだ位置づけです。

局所層には学習可能なゲートが付きます。式で書くと GatedSWA(h) = o_proj( A_SWA(q,k,v) ⊙ σ(g_proj(h)) ) です。正規化済みの隠れ状態hからクエリ・キー・バリュー・ゲートを並列に射影し、128トークンのスライディングウィンドウGQA出力A_SWAを、シグモイドσを通したゲートで要素ごとに変調してから出力射影o_projに渡します。グローバル層にはこのゲートを付けません。クエリ・キーにはRMSNormによるQK正規化と、ロータリ比率0.33のPartial RoPEを適用します。

この構成は実測に基づいて選ばれています。8基のH100で系列長4,096・10Bトークンを学習した比較で、SWA 5:1が最高スループットの9,566 tokens/s/GPUを記録し、full attentionと同等のtail loss（1.93）を達成しました。SWA 3:1は最小のtail loss（1.92）ですがスループットで劣り、MLAは7,645 tokens/s/GPUまで落ちてloss改善も見合いませんでした。文脈長を4Kから256Kへ伸ばすと、SWA 5:1のfull attentionに対するスループット優位は1.13倍から3.94倍に拡大します。長文脈ではfull attentionが支配的なボトルネックになるという整理です。

flowchart TB
    subgraph B["ブロック×5（各ブロック = SWA 5層 + Global 1層）"]
        direction TB
        S1["SWA 128トークン"] --> S2["SWA"] --> S3["SWA"] --> S4["SWA"] --> S5["SWA"] --> G["Global 全コンテキスト"]
    end
    G --> T["末尾: SWA 2層"]
    T --> OUT["32層（SWA 27層 + Global 5層）"]
    KV["KVキャッシュ: 27層は固定128トークン分のみ保持"]
    OUT --> KV

KVキャッシュ削減も重要な帰結です。KVキャッシュとは自己回帰デコードで過去のキーとバリューを再利用するために保持するメモリで、27層のSWA層は固定128トークン分しか持たず、全系列を保持するのは5つのグローバル層だけです。その結果、トークンあたりのKVフットプリントはfull attentionの128 KiBから20 KiBへ減ります。256Kコンテキスト時点の総量は、full attentionが32.0 GiB、線形注意ベースライン（GDN 3:1、7グローバル＋21線形）が7.0 GiB、本ハイブリッドは5.0 GiBでfull attention比6.4分の1です。自己回帰デコードはメモリ帯域に律速されるため、この削減はそのままデコードスループットの向上に効きます。

学習の高速化 — FP8・Muon・TWEOが生む約4.2倍の効率

ZGCM-1-7Bの事前学習は、NVIDIA Megatron Coreを使い、H100上で分散実行されています。ここでの目標は「大きいモデルを回すこと」ではなく、同じロスに、より短い時間で到達することです。その中身は単一の魔法ではなく、4つの異なる改善の掛け算になっています。

まず最適化アルゴリズムです。行列パラメータはMuonで更新します。Muonは勾配を直交化して更新方向を整える最適化手法で、momentum 0.9、spectral scaling、Newton–Schulz 5ステップ、定数学習率2×10⁻⁴、weight decay 0.1、勾配クリッピング1.0という設定です。スカラーパラメータは従来どおりAdamで最適化します。

数値精度はTransformer EngineのハイブリッドFP8（forward E4M3、backward E5M2）と遅延スケーリングを採用します。FP8とは8ビット浮動小数点のことで、BF16の半分のメモリ帯域で行列演算を回せる代わりに、表現できる範囲が狭く数値発散を招きやすい形式です。そこでスケーリング係数を直近1,024ステップの最大絶対値から更新する遅延スケーリングを組み合わせ、それ以外の演算はBF16またはFP32で維持します。

安定化の鍵がTWEO（Transformers Without Extreme Outliers）です。活性化の外れ値（極端に大きい値）を正則化で抑え込み、遅延スケーリングと組み合わせることで数値発散を防ぎながら、H100のBF16密ピーク989 TFLOP/sに対して約585 model TFLOP/s/GPU、BF16換算で約60%のMFUを維持します。MFU（Model FLOPs Utilization）はハードウェアの理論性能に対して実際に何割使えたかを示す指標で、FP8を実運用に載せる難しさがこの数字に表れています。

flowchart LR
    A["SWA 5:1<br/>1.4x"] --> E["4.2倍の高速化"]
    B["FP8 + システム構成<br/>1.5x"] --> E
    C["Muon<br/>1.8x"] --> E
    D["Pre-LN<br/>1.1x"] --> E
    E --> F["16K事前学習のtime-to-loss<br/>OLMo 3系7B BF16/AdamW比"]

16K事前学習のtime-to-lossをOLMo 3系の7B BF16/AdamWベースラインと比較すると、寄与は1.4 × 1.5 × 1.8 × 1.1 ≈ 4.2倍になります。この4.2倍は単一の実測タイマーではなく、要素ごとの寄与分解を掛け合わせた推定値である点には注意が必要です。

一般事前学習のデータは2段階構成です。Stage 1が約0.99Tトークン、Stage 2が約3.20Tトークンで合計約4.19Tトークン、ウェブデータが両段階で最大のソースです。Stage 2ではコードと数学の比率を上げ、専門推論データを独立した混合要素として導入します。トークナイザはGLM-5.1のものを使用します。混合比の探索には0.3Bパラメータのプロキシモデルを約30Bトークンで学習させ、知識・コード・数学の指標を見ながら反復調整する手法を採り、ターゲット規模での探索コストを下げています。

運用面の実話も残されています。学習ジョブ再開後、同じ条件のウィンドウでスループットが約80ステップかけて585から554 model TFLOP/s/GPUへ徐々に低下しました。バッファの解放では解消せず、100イテレーションごとにCUDAアロケータキャッシュのクリアとGCを入れることで585へ復帰し、これが本番ループに反映されたといいます。大規模学習では、こうした地味な運用ノウハウが最終的な学習時間を左右します。

中訓練（Mid-Training）— 16K→64K→256KとMDP再定式化

一般事前学習が終わると、ZGCM-1-7Bは中訓練（Mid-Training）と呼ばれる能力志向の継続事前学習フェーズに入ります。中訓練とは、完成した基盤モデルを特定の能力（長文脈、エージェント、数学など）へ寄せるために、事前学習と事後訓練（SFT/RL）の間に挟まれる段階です。ここではプール全体の重複排除を行い、2.86Tトークンの候補プールから600.51Bトークンのサンプリングスケジュールを組みます。

コンテキスト長は段階的に拡張されます。段階を踏むのは、いきなり長文脈を学習させるより、短い系列で基礎を固めてから伸ばす方が安定し、性能も高いためです。

各段階は短い系列を置き換えるのではなく累積的に保持するため、従来型コンテキストのタスク性能を保ったまま長文脈能力を足せます。このあたりの設計意図が、後述する「超長文SFTが不要になる」という知見にもつながります。

混合比の変化も明確です。コードと数学は3段階を通じて各約20%を維持し、中核のプログラミング・推論能力を守ります。コンテキストが伸びるにつれて知識データは10.50%から14.23%へ、エージェントデータは1.50%から3.30%へ増加します。事前学習リプレイは13.00%から9.00%へ減りますが、広いカバレッジを保つために残されます。

flowchart LR
    S1["16K段階<br/>180Bトークン"] --> S2["64K段階<br/>240Bトークン"]
    S2 --> S3["256K段階<br/>180.51Bトークン"]
    S3 --> R["知識10.50→14.23%<br/>エージェント1.50→3.30%<br/>コード・数学 各約20%を維持"]

中訓練の目玉がMDP再定式化です。MDPとはMarkov Decision Process（マルコフ決定過程）の略で、ある状態で行動を選ぶと次の状態と報酬が決まる、という意思決定の枠組みです。ここではツールを使った対話軌跡を、状態-行動遷移として再構成します。各意思決定点で、タスク記述・対話履歴・現在の環境フィードバックが「状態」を構成し、モデルはその状態に条件づけて次の行動を予測します。

この効果は監督信号の密度にあります。軌跡全体を丸ごと再現する学習から、状態に条件づけた行動選択を学ぶ学習へシフトすることで、軌跡全体の信号に加えて1ステップごとの密な監督を注入できます。エージェントの連続事前学習と同系統の考え方です。

学習設定は3段階すべてでfull-sequence causal language modelingを使い、SFTのようなアシスタント限定の監督とは異なります。1オプティマイザステップあたり約12.6Mトークンを維持するため、グローバルバッチサイズを768（16K）／192（64K）／48（256K）と調整します。学習率は10⁻⁴、256K段階はRoPE base 10Mで完全なactivation recomputationを使います。

256Kへの到達経路も比較されています。直接256Kを30Bトークンで学習する経路と、64Kで10B→256Kで20Bと段階を踏む経路では、後者がわずかに低い最終loss（1.16対1.19）を達成しました。ソフトウェアエンジニアリングの軌跡は、実行環境がある場合は実行結果・最終ターンのフィードバック・相互作用ターン数でスコアリングし、実行環境がない場合は構造・パッチ・shell/edit・ログ・振る舞いの証拠で審査します。重複排除後の最終コーパスは約129K件（5.9Bトークン）です。

事後訓練 — SFTと混合RL、think/no-thinkの共存

ZGCM-1-7Bの事後訓練は、教師あり微調整（SFT）の後に混合強化学習（RL）を置く2段構成です。SFTとは、正解付きの入出力例でモデルを微調整して振る舞いの土台を作る段階、RLは正解が一意でないタスクで報酬を最大化するように振る舞いを磨く段階にあたります。

SFTコーパスは4,921,933件で、一般データ96.46%／エージェントデータ3.54%という配分です。一般データは指示追従・知識・数学・科学・コード・対話・推論をカバーし、エージェントデータはディープリサーチ、ソフトウェアエンジニアリング、ターミナル操作を対象とします。

品質管理は多段構えです。まず決定的なヒューリスティックルールで、対話ターンの欠落、不正なロール、重複生成、プロンプトテンプレート漏れ、不正な推論痕跡などを除去します。次に人間注釈のパイロットベンチマークで校正したモデルベース評価器が、教育価値・論理的一貫性・段階的推論の整合性・事実整合性・安全性の軸で採点し、固定の二分閾値ではなく多基準スコアで品質ティアに分類します。結果として生のSFT候補の約50%を枝刈りするアグレッシブなフィルタリングが、未選別の全コーパスでの学習より総合的に優れることが確認されました。6ベンチマーク平均は67.78から68.83へ改善し、特にBBHが+10.10ポイント伸びる一方、一部タスクでは低下も出ています。

汚染除去も厳格です。全候補コーパスを下流の評価・検証セットと突き合わせ、88-gramのスライディングウィンドウで照合します。評価プロンプトまたは参照回答と88-gramの重複が50%を超える学習サンプルは恒久的に排除されます。能力バランスの調整では、長いCoT（chain-of-thought、段階的な推論の連鎖）軌跡の比率を上げすぎると冗長性バイアスが生じ、指示追従が損なわれることが判明しました。長文推論・直接回答QA・厳格なフォーマット指示の比率を反復的にグリッド校正し、パレート最適な混合に到達しています。

統合think/no-think監督が実装上の特徴です。明示的な推論チェーンを含むthink例と、簡潔な即答のno-think例を意図的に織り交ぜることで、単一の重みセットが、システム指示や実行時予算に応じて熟考と即答を切り替えられます。交叉的転移も観測されています。混合think/no-think SFTの前後をno-thinkモードで比較すると、AIME 2025は10.00→43.33、AIME 2024は6.67→33.33、MBPP+は55.03→75.93、BBHは58.49→69.48と大きく改善します。ただしMMLUは72.63→70.03、HumanEval+は73.78→66.46と低下しており、転移はタスク依存です。

エージェントSFTは3分岐です。ディープリサーチは20,217件の多段リサーチ軌跡をsearch・visitの2ツールを持つ共通環境に正規化します。ソフトウェアエンジニアリングは実行接地30,014件＋実行非依存30,000件を構造化ツール形式へ射影します。重要な発見として、一般データとエージェントデータを逐次に分けて学習するより、SFT全体で交互に混ぜるjoint scheduleの方が下流性能が高いことが示されています。エージェント能力は広い汎用能力に支えられており、段階的推論と厳密な制約追従の土台が不可欠だという整理です。

flowchart LR
    A["一般SFT<br/>96.46%"] --> C["joint SFT"]
    B["エージェントSFT<br/>3.54%"] --> C
    C --> D["混合RL<br/>GRPO + 動的サンプリング"]
    C --> E["単一の重みで<br/>think / no-think を切替"]
    D --> F["リリースモデル（256K変種）"]
    E --> F

長さ別のSFT変種は2つ用意され、最大系列長65,536（8エポック）と262,144（10エポック、19.46Bパックトークン）を学習しました。リリースモデルは256K変種です。グローバルバッチサイズ48、layer-wise Muon＋スカラーAdam、学習率は1×10⁻⁴から1×10⁻⁶へコサイン減衰、ウォームアップなし、weight decay 0.01、勾配クリッピング1.0という設定です。

ここにも実務的な発見があります。中訓練で確立した長文脈基盤があれば、256Kの超長文推論軌跡をSFTで用意しなくても、中程度の長さのSFTデータだけで256Kスケールの推論・エージェント挙動を引き出せるという主張です。高価な超長文軌跡の収集を省略できる点は、計算資源の限られたチームにとって大きな意味を持ちます。

混合RLでは数学・コード・一般タスクの混合コーパスを構築し、初期ポリシーのロールアウトで難易度を見積もり、すでに頻繁に解ける問題を除去して学習信号の残るプロンプトに集中します。報酬は数学が二値の正答、コードが通過した実行テストの割合です。無効・切り詰め応答には正の報酬を与えません。最適化はGRPOで、合計98,304トークンの文脈内で最大65,536の新規生成トークンを許容します。報酬分散がゼロのグループは相対的な学習信号を与えないため、動的サンプリングでフィルタ・置換し、アクター学習率は2×10⁻⁶です。

ベンチマーク結果 — 7Bが桁違いの巨大モデルにどこまで迫るか

ベンチマーク結果を読む前に、評価条件を押さえておきます。評価はリリースされた256K SFTチェックポイントをthinkモードで使用し、非エージェント系とWeb環境ディープリサーチはtemperature 1.0・top-p 1.0、合計コンテキスト262,144トークン（プロンプト最大4,096＋生成最大258,048）で実行されています。非エージェント系はベンチマークが別の集計規則を指定しない限り32回実行のpass@1平均です。pass@1は1回の試行で正解できる確率を示す指標で、「同じ問題を何度も解いて当たればよい」という評価ではありません。

まず数学・抽象推論の代表値です。

コードはHumanEval+ 90.24%、MBPP+ 63.23%、LiveCodeBench v6 46.86%です。知識はMMLU 73.88%、GPQA-Diamond 47.87%、指示追従はIFEval 75.42%でした。ARC-AGI-1やminiF2Fのように低い項目があることも、つまみ食いせずに読むべき情報です。

7B〜8B級の比較対象は6モデル（DeepSeek-R1-0528-Qwen3-8B、MiniCPM4.1-8B、Qwen3-8B、Olmo-3-7B Think、MiMo-7B-RL、Open-Thinker-3-7B）です。ZGCM-1-7Bは14の推論ベンチマークで平均ランク1位を達成しました。AIME 2026やHMMT 2025/2026のように他モデルを明確に上回る項目がある一方、AIME 2024/2025、MBPP+、MMLU、GPQA-Diamondでは上回るモデルも存在し、全項目での圧勝ではありません。

参考としてno-thinkモードの値も示されています。MATH-500 89.40%、AIME 2024 33.33%、AIME 2025 43.33%、BBH 69.48%、MBPP+ 75.93%、IFEval 78.00%という結果で、thinkモードとは異なる特性を示します。たとえばIFEvalはno-think（78.00%）の方がthink（75.42%）より高く、熟考が常に有利に働くわけではないことがわかります。

flowchart LR
    A["256K SFTチェックポイント<br/>thinkモード"] --> B["推論14ベンチマーク<br/>平均ランク1位（7B〜8B級）"]
    A --> C["一部項目は<br/>他モデルに譲る"]
    B --> D["AIME 2026 / HMMT 2025・2026 で優位"]
    C --> E["AIME 2024/2025、MMLU、<br/>GPQA-Diamond、MBPP+"]

解釈上の注意が2点あります。第一に、論文自身が「Web系の外部比較値は引用元の公表値で、統一再実行ではない」と明記しています。比較表の数字は同一の評価ハーネスで測り直したものではないため、条件差が結果に混ざります。第二に、評価ハーネスや採点実装の違いが順位を左右しうるという点です。7Bという規模で平均1位を取ったことは注目に値しますが、個別ベンチマークの勝敗は条件つきで読むのが安全です。

エージェント評価 — Web検索とバイナリ関数探索

ZGCM-1-7Bのエージェント評価は2つの設定で行われます。ひとつはオープンウェブの情報探索、もうひとつはバイナリプログラムの解析です。どちらも「モデルがツールを能動的に使って答えにたどり着けるか」を測る点で、知識の暗記力を測る通常のベンチマークとは性質が異なります。

Web環境ディープリサーチでは、thinking有効のReActポリシーで最大64回の検索・閲覧ステップを実行します。ReActとは推論と行動を交互に繰り返すエージェントの基本パターンです。ZGCM-1-7Bのスコアは以下の通りです。

比較の構図が興味深いところです。専門リサーチエージェントのWebDancer-32BはWebWalkerQA 38.40%、BrowseComp 2.50%で、パラメータ数が4倍以上あるにもかかわらずZGCM-1-7Bが大きく上回ります。ツール付きオープンウェイトのQwen3-235B-A22Bは59.60%／2.30%、Kimi-K2は63.00%／14.10%です。ZGCM-1-7BはQwen3-235B-A22Bを上回り、Kimi-K2とはWebWalkerQAで並ぶ水準にあります。ただしGPT-5はBrowseComp 54.90%と依然大きく先行し、Claude 4 SonnetはWebWalkerQA 61.70%／BrowseComp 12.20%／GAIA 68.30%です。GAIAのようにフロンティアモデルとの差が大きい指標も残っています。

Binary Function Searchはこの論文で構築された独自ベンチマークです。stripped（シンボル除去済み）ELFバイナリ中の対象関数を、自然言語の振る舞い記述だけを手がかりに特定するタスクです。ELFとはLinuxで標準的な実行ファイル形式で、stripped化されると関数名の情報が失われます。加えて関数名・ソース位置・アドレス・名前変種は記述から除かれるため、エージェントは意味的証拠と構造的証拠を組み合わせて候補を絞る必要があります。

データは数千のオープンソースC/C++プロジェクトから構築され、検証済みプールは529プロジェクト・11,767タスクです。評価は10プロジェクト（tmux、tree、GNU Wget2、XZ Utils、YAJL、zlib、libuv、libgit2、nm、Lua）から各5タスクをランダム抽出した50タスクで行い、これら10プロジェクトはすべて学習データから除外されています。エージェントの道具立てはGhidra（バイナリの逆コンパイルや解析に使われるリバースエンジニアリングツール）ベースの構造化インターフェースで、functions（関数一覧）、function（メタデータ）、decompile（C風疑似コード）、search（文字列・逆アセンブリ・疑似コード・バイト列の検索）、refs（参照探索）、listing（周辺のアセンブリ表示）の6アクションを使います。

sequenceDiagram
    participant A as エージェント
    participant G as Ghidraセッション（gcmd）
    participant O as 検証オラクル
    A->>G: 振る舞い記述をもとに候補探索（functions / search）
    G-->>A: メタデータ・疑似コード・参照を返す
    A->>G: 証拠精緻化（decompile / refs / listing）
    G-->>A: 追加の構造的証拠
    A->>O: 関数開始アドレスを提出
    O-->>A: 正誤を検証（完全一致のみ正解）

結果はZGCM-1-7Bが62%（31/50）です。同規模のQwen3-8Bは12%、その他は0%で、桁違いの差が出ています。より大きなフロンティアモデルと比べても、GLM-5.1の66%に迫り、DeepSeek-R1（36%）とGPT-4o（18%）を上回りました。ただしDeepSeek-V4 FlashとQwen3.5-397B-A17Bはともに76%で上位に立ちます。採点は厳格で、提出されたELF仮想アドレスが検証済みの関数開始アドレスと完全一致した場合のみ正解です。ファイルオフセット、ランタイムアドレス、関数内部の命令は不正解になり、無効提出や未提出は0点、無効提出の除外は行いません。

この2つの評価が示すのは、7B級モデルでもツールを能動的に使うタスクでは巨大モデルと競合できるという事実です。一方で、単純な知識想起やフロンティアモデルが得意な一部のタスクでは差が残ります。得意・不得意がタスクの性質に強く依存する点が、次のセクション以降で扱う設計思想と直結します。

AIネイティブ研究開発 — エージェントが開発ライフサイクルを担う

ZGCM-1の主張はモデルの中身だけに留まりません。「どう作ったか」もまた成果の一部として提示されています。各研究者がLLMベースのエージェントを指揮し、データエンジニアリング、アーキテクチャ設計、学習アルゴリズム設計、実験と監視、インフラ、評価、デプロイまで、開発の全段階にエージェントが関与するという体制です。

情報の流れは2系統あります。人間の議論から生まれるhuman context（会話、議事メモ、意思決定、計画）と、エージェントの完了作業から生まれるreusable experience（検証済みスクリプト、ワークフロー、チェックリスト、デバッグ履歴）です。両方が共有のエージェントハーネスに流れ込み、全エージェントに文脈・スキル・ツール・記憶・オーケストレーション・検証能力を与えます。属人的になりがちな知見を、再利用可能な形で蓄積する仕組みだと捉えられます。

具体的な関与は多岐にわたります。データクリーニングでは、品質要件を与えるとエージェントがヒューリスティックなフィルタ・変換スクリプトを書き、対象コーパスで実行し、出力のデータ構成と分布統計を検査し、基準を満たさなければ処理スクリプトを自動反復して閾値を洗練します。クラスタ管理では、Webインターフェース経由のジョブ投入・ログ確認・開発マシン管理を構造化スキルとして公開し、エージェントが実験起動、進捗監視、ログからの失敗診断、ハイパーパラメータやリソース配分の調整を人間なしで行えるようにしました。自動研究（auto research）の例も挙げられており、エージェントがストレージクラスタのデータ転送特性をプロファイリングし、学習フレームワークのI/Oパイプラインに的を絞った調整を加えて訓練速度を大きく改善したといいます。

flowchart LR
    H["human context<br/>会話・議事メモ・意思決定"] --> HARNESS["共有エージェントハーネス<br/>文脈・スキル・ツール・記憶・検証"]
    E["reusable experience<br/>スクリプト・ワークフロー・デバッグ履歴"] --> HARNESS
    HARNESS --> D1["データ<br/>クリーニング"]
    HARNESS --> D2["設計<br/>アーキテクチャ・アルゴリズム"]
    HARNESS --> D3["実験<br/>起動・監視・診断"]
    HARNESS --> D4["インフラ<br/>クラスタ管理"]
    HARNESS --> D5["評価 / デプロイ"]

評価も開発ツールとして位置づけられます。Atomic Capability Evaluation（ACE）は18カテゴリ・183の原子的能力・2,503の実行可能プローブで構成され、標準設定での完全実行は約2〜3分です。カテゴリ・能力・プローブの各レベルで強みと弱みの一次プロファイルを素早く得られ、データ混合・目的関数・ハイパーパラメータ・推論設定を変えたアブレーション比較に向きます。回帰をどの能力に局在させられるかが、この評価の価値です。

ACEの結果では、ZGCM-1-7Bは数学98.18%、計画97.78%、論理96.08%、因果推論96.00%、読解95.04%と高い一方、指示追従49.74%、真実性68.91%、コード72.24%、言語79.75%が弱い項目です。Qwen3-8B-256Kとの比較では、長文脈処理+31.11ポイント、算術+20.74、計画+14.45、世界モデリング+10.00で大きく先行します。ACE自体も人間とLLMの共同作業で構築され、LLMが能力分解・プローブ生成・境界事例発見・採点器実装を支援し、研究者が能力境界の定義・生成物の監査・採用承認を担いました。ただし論文は「純粋にモデル駆動の反復では不十分だった」と明記し、裁定・境界検証・体系的失敗パターンの点検には人間の専門家が必要だったと正直に書いています。

さらにAI4AI自律性の評価も行われました。9名のコア貢献者が11タスクカテゴリを5段階ルーブリックで評価し、99件の評定を得ています。L4は人間が定義した目標内での自律実行、L5は研究目標の同定と段階横断の協調まで含む完全自律を指します。

結果はタスク依存で、99件中L5は1件のみ、L4を超えて割り当てられたタスクはありません。この非対称性は重要です。運用タスクではエージェントに任せられるが、設計タスクでは人間の判断が支配的という現状認識がデータで示されています。論文はこれを能力の標準化された測定ではなく貢献者の判断だと断ったうえで、AIネイティブな開発が万能ではなく段階的に進むことを示しています。

8つの実証的知見 — 実装者が持ち帰れる論点

ZGCM-1の論文は、性能指標だけでなく「何が効いて、何が効かなかったか」を8つの実証的知見として整理しています。個々の数値より、この知見のほうが自前の学習に応用しやすい部分です。まず全体像を表で示します。

Finding 1は最も実務に直結します。語彙的複雑度は一般言語テキストには安価な順序付け信号として機能しますが、コードと数学には難易度の代理指標として不適切です。表面統計がアルゴリズム的・推論的な深さではなく定型文を追跡してしまうためです。具体例が鮮明で、WFCベースのグリッド生成プログラムがコードシャードの下位0.01%に、2行のNumPyファイル読み込みが上位0.01%に現れます。数学では複雑な組合せ問題「Manhattan Wiring」が下位0.11%に、加法の結合法則の一行が上位0.01%に現れます。そこで一般文書を複雑度順に並べ、コードと数学を独立に交互配置するスケジュールを採ると、コードBPBは1.99→0.81、数学BPBは0.97→0.94へ改善しました。BPBはバイトあたりの予測誤差を表す指標で、低いほど良い値を意味します。代償として一般ベンチマークのBPBは0.03〜0.09増加し、狙った領域に利得が集中する分だけ一般知識の獲得を少し犠牲にしています。

Finding 2から4は既に触れた内容の整理です。中間活性化の外れ値抑制がFP8学習の安定性に決定的で、遅延スケーリングとTWEO正則化の組み合わせが数値発散を防ぎつつBF16換算60%のMFUを維持します（Finding 2）。ハイブリッドSWA（1.4倍）、FP8混合精度システム（1.5倍）、Muon（1.8倍）、Pre-LN（1.1倍）の協調設計で16K事前学習のtime-to-lossを累積約4.2倍高速化します（Finding 3）。事後訓練では候補プールの約半分を枝刈りすると6ベンチマーク平均が67.78から68.83に改善し、利得は推論（BBH +10.10）に集中、損失は一部タスクに限定されました（Finding 4）。

Finding 5は見落とされやすい論点です。長いchain-of-thought監督の効用は非単調で、混合を長推論軌跡で飽和させると一般的な指示追従性能が劣化します。データ混合比を動的に校正することで、長CoT推論の利得を損なわずに指示追従を保てます。推論の重み付けは「多ければ良い」ではなく最適点があるという知見です。

Finding 6と7はデータ設計の指針になります。エージェント専用の微調整は対話忠実度を劣化させ、エージェント能力は広い汎用能力に本質的に依存します。したがって一般指示データとの共同学習が段階的推論と正確な制約追従の土台を与え、エージェント性能を大幅に改善します（Finding 6）。また中訓練で確立した長文脈基盤により、256Kスケールの堅牢な推論・エージェント挙動を中程度長のSFTデータだけで引き出せるため、高価な256K長推論軌跡を事後訓練に用意する必要を実質的に回避できます（Finding 7）。

flowchart TB
    subgraph 学習段階
        P["事前学習<br/>Finding 1・2・3"] --> M["中訓練<br/>Finding 7"]
        M --> PO["事後訓練<br/>Finding 4・5・6"]
    end
    subgraph 開発プロセス
        O["組織・自律性<br/>Finding 8"]
    end
    PO --> OUT["モデル性能"]
    O --> OUT

Finding 8は組織的な知見です。共有文脈・再利用可能スキル・統合ツールによりエージェントは限られた人間の介入で反復できますが、自律性は不均一です。実験やデプロイなど運用タスクはL4に達する一方、モデルアーキテクチャと学習アルゴリズムの設計はL2に留まりL3を超えません。AIにどこまで任せるかは、タスクの性質で線を引くべきだという実践的な示唆になります。

限界と今後 — 何ができて、何がまだできないか

性能の高さが際立つ論文ほど、限界の記述が重要になります。ZGCM-1の論文は、できないことを比較的率直に列挙しています。

第一にパラメータ知識の上限です。意図的な思考と外部検索は多くの事実的欠落を補いますが、静的な記憶容量は7.39B denseという規模に根本的に縛られます。closed-book（外部参照なし）の想起重視タスクでは、大規模フロンティアシステムに当然及びません。検索と推論で補える範囲を超えた知識量が問われる場面では、規模の差がそのまま出ます。

第二に指示追従と推論の冗長性です。ACEとデータ混合アブレーションが示すとおり、重い推論監督は継続的に校正しないと冗長性を招き、厳密で非推論的な指示追従（IFEvalや複雑な表層制約）をわずかに損ないます。thinkモードとno-thinkモードでIFEvalの値が逆転していたのも、この性質の表れです。

第三に汎用ソフトウェア・ターミナル能力は発展途上です。Webディープリサーチやバイナリ解析のような構造化されたエージェント環境では強い一方、リポジトリ規模の長期的エンジニアリング（SWE-bench Verified）や非構造なLinuxターミナル操作（Terminal-Bench 2.0）では完遂率が低くなります。内部診断では、SWE-bench Verified Mini50で50タスク中2件（4.0%）、Terminal-Bench 2.0で89タスク中2件（2.25%）にとどまりました。バイナリ関数探索で62%を出したのと同じモデルが、ここでは数%に沈みます。

第四に環境とプロトコルへの脆さです。エージェント実行は厳密なスキーマ整合と安定した環境フィードバックに強く依存します。極端な観測ノイズ、ツール呼び出し形式の逸脱、外部検索APIの遅延は、多段ロールアウトを依然として破綻させうる要因です。

flowchart LR
    L1["知識<br/>closed-bookの想起"] --> F1["MoE拡張で<br/>容量とドメイン特化を拡大"]
    L2["挙動<br/>推論の冗長性"] --> F2["環境内マルチターン<br/>対話型RLへ移行"]
    L3["環境<br/>ノイズ・プロトコル脆さ"] --> F3["パラメータ不確実性検知で<br/>検索を動的起動"]
    L4["組織<br/>設計タスクはL2"] --> F4["AI4AI基盤を<br/>仮説形成・カーネル最適化へ拡張"]

今後の方向性は4点に整理されています。①ハイブリッドSWA・Muon・MDP中訓練のレシピをsparse MoE（Mixture-of-Experts）骨格へ拡張し、推論FLOPsを低く保ったままパラメータ容量とドメイン特化を広げる。②トークンレベルSFTと結果ベース報酬から、実環境サンドボックス内でのマルチターン対話型強化学習へ移行する。③事前学習表現とオンザフライの自律的検索をさらに統合し、パラメータの不確実性を検知したら検索サブルーチンを動的に起動できるようにする。④AIネイティブのエージェントハーネスを、クラスタテレメトリ・データキュレーション・原子的評価から、自律的な仮説形成・自動カーネル最適化・閉ループの合成環境設計へ拡張する。

ここから読み取れるのは、7Bの限界が「規模を増やせば解決する単純な話」ではないという点です。記憶容量はMoEや外部検索との統合で補い、振る舞いの冗長性はRLと校正で整え、環境への脆さはプロトコル設計とフォールバックで吸収する。限界の記述は、そのまま次の研究課題のリストになっています。

よくある質問

ZGCM-1は普通のPCやノートPCで動かせますか？

7.39Bのdenseモデルで、Hugging Faceの重みはBF16で公開されています。そのままでは相応のVRAMを要するため、量子化やKVキャッシュの扱いが実用の鍵になります。追い風になるのはハイブリッド注意によるKVキャッシュ削減で、256Kコンテキスト時点でfull attentionの32.0 GiBに対し5.0 GiB（6.4分の1）です。自己回帰デコードはメモリ帯域律速なので、長文脈ほどこの差が効きます。vLLMやSGLangでの配信手順が公式に案内されており、trust_remote_code=True が必須です。段階別の中間チェックポイントも公開されているので、小さいチェックポイントから試すこともできます。

「Fully Open」と「オープンウェイト」は何が違うのですか？

オープンウェイトは学習済み重みのみの公開で、上流のフィルタリング手法、中訓練カリキュラム、長文脈スケジュール、マルチターンのエージェント軌跡は非公開のことが多い形態です。ZGCM-1は重みに加えて、事前学習・中訓練・事後訓練の各段階のモデル重み、中間チェックポイント、学習コード、段階ごとのデータとデータレシピ、学習ログ、評価ハーネスまで公開します。これにより「なぜその性能が出たのか」を学習の過程まで遡って再現・検証できます。論文自身が、フロンティア研究を阻む透明性の壁への対抗策としてこの点を位置づけています。

7Bモデルが数百億〜数千億パラメータのモデルに匹敵するのはなぜですか？

鍵は「パラメータに知識を詰め込む」のをやめ、「内部思考＋外部ツール利用」に役割を分担させたことです。小型モデルは静的容量でオープンウェブを丸暗記できないという前提を出発点にしています。実測ではBinary Function Searchで62%（31/50）を記録し、同規模のQwen3-8Bは12%、その他は0%でした。GLM-5.1の66%に迫り、DeepSeek-R1（36%）やGPT-4o（18%）を上回ります。ただし万能ではなく、closed-bookの知識想起やMMLU・GPQA-Diamondのような項目では上位モデルに譲ります。得意なのは検索と推論を組み合わせるタスクであり、比較は必ずタスク条件つきで読む必要があります。

MDP中訓練とは結局何をしているのですか？

ツール利用の対話軌跡を、マルコフ決定過程の「状態-行動」遷移として再構成しています。各意思決定点で、タスク記述・対話履歴・現在の環境フィードバックが状態となり、モデルはその状態に条件づけて次の行動を予測します。効果は監督信号の密度で、完全な状態遷移系列を再生産する学習から状態条件付きの行動選択を学ぶ学習へシフトすることで、軌跡全体の信号に加えて1ステップごとの密な監督が入ります。これがFinding 7（中訓練の長文脈基盤があれば超長文SFTは不要）や、長文脈タスクでの優位（Qwen3-8B-256K比で+31.11ポイント）に効いているという整理です。

4.2倍の効率改善はどうやって測ったのですか？注意点はありますか？

16K事前学習のtime-to-loss（同じlossに到達するまでの時間）を、OLMo 3系の7B BF16/AdamWベースラインと比較した推定値です。SWA 5:1で1.4倍、FP8精度＋システムで約1.5倍、Muonで約1.8倍、Pre-LNで約1.1倍を掛け合わせて約4.2倍としています。測り方の性質上、単一の実測タイマーではなく寄与分解による推定の積である点に注意が必要です。各係数もexploratoryな7Bでの証拠に基づく推定を含みます。また比較対象はOLMo 3スタイルのベースラインであり、あらゆる構成・ハードウェアで同じ倍率が出ることを保証するものではありません。読む際は「同じloss到達時間」という定義と、要素ごとの寄与に分解されている点をセットで理解しておきたいところです。

まとめ

ZGCM-1は、7.39Bのdense型基盤モデルとして、256Kコンテキスト、ハイブリッド注意、FP8＋Muon＋TWEO、16K→64K→256Kの段階的中訓練、MDP再定式化、think/no-think共存の事後訓練という一連の設計を、重みからログまで検証可能な「全公開のレシピ」として提示した事例です。

性能面では、MATH-500 97.13%、AIME 2026 75.00%、HMMT 2025 70.42%を記録し、7B〜8B級の6モデルとの比較で14の推論ベンチマーク平均1位を達成しました。エージェント系ではBinary Function Search 62%、WebWalkerQA 63.09%、BrowseComp 19.43%と、桁違いに大きなモデルと競合します。ただし全項目での圧勝ではなく、closed-bookの知識や一部の推論項目では上位モデルに譲ることも押さえておくべき点です。

効率面では、SWA 5:1のハイブリッド構成がfull attention比3.94倍のスループット（256K時点）と6.4分の1のKVキャッシュ（5.0 GiB）を実現し、FP8・Muon・TWEO・Pre-LNの協調で16K事前学習のtime-to-lossを約4.2倍改善しています。これらは単独の工夫ではなく、掛け算として積み上げられている点が重要です。

実装者にとって最も実用的な持ち帰りは8つの知見です。とりわけ「語彙的複雑度はコード・数学の難易度代理にならない」「SFTは量より品質」「エージェント学習に一般データは必須」「中訓練の長文脈基盤が超長文SFTを不要にする」「AI自律性は設計タスクではL2に留まる」という5点は、自前の学習や評価の設計にそのまま応用できます。

限界も明示されています。closed-bookの知識想起、推論冗長性と指示追従のトレードオフ、SWE-benchやTerminal-Benchでの低い完遂率、環境・プロトコルへの脆さです。次の一手はsparse MoE拡張、環境内マルチターン対話型RL、自律的動的検索、自己進化するAI4AI基盤という方向が示されています。

総じてZGCM-1は、「パラメータ数を増やす」以外の道筋を、再現可能な形で示した点に意義があります。7Bという規模でどこまで戦えるか、その限界がどこにあるか——両方を同時に開示しているからこそ、計算資源の限られた研究・開発にとって重要な参照点になるのです。

関連記事

• ローカルLLM環境の進化：分散推論と軽量モデルの現在地