LLM-jp-4 33B公開：国産オープンLLMは自宅サーバーで動かせるか
国立情報学研究所のLLMCが2026年8月18日、約332億パラメータのDense型国産オープンLLM「LLM-jp-4 33B」を公開しました。baseとthinkingの2モデルに加えDPO用データセットも同時公開。4月公開の8B・32B-A3Bとの違い、Dense型とMoEの使い分け、そして自宅の1台で本当に動かせるのかを、公開情報から整理します。
2026年8月18日、国立情報学研究所（NII）の大規模言語モデル研究開発センター（LLMC）が、約332億パラメータのDense型大規模言語モデル「LLM-jp-4 33B」を公開しました。公開されたのは、事前学習と中間学習まで終えたベースモデル llm-jp-4-33b-base と、SFT（教師ありファインチューニング）およびDPO（直接選好最適化）による事後学習まで施した llm-jp-4-33b-thinking の2種類。さらに、DPOに使った学習データセットまで一緒に公開されています。
海外の巨大ラボが次々とモデルを出す2026年において、33Bというサイズは決して派手な数字ではありません。それでもこの国産オープンLLMのリリースが手元でLLMを動かす層にとって重要なのは、「日本語が強い」「重みが公開されている」「学習に使ったデータの素性が追える」という3条件を同時に満たすモデルが、いまだに数えるほどしか存在しないからです。この記事では、何が公開されたのかを整理したうえで、Dense型33BとMoE型32B-A3Bの違い、そして自宅の1台で現実的に動かせるのかという見積もりまでを扱います。
背景：LLM-jp-4シリーズがここまで来た道のり
LLM-jpは、NIIが主宰するLLM研究開発コミュニティの名称であり、日本発のLLM開発プロジェクトの名称でもあります。2026年3月31日時点で、大学・企業から2,600名以上が参加しています。文部科学省の補助金事業「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」の枠組みで進められており、透明性の確保そのものが目的に組み込まれている点が、商用ラボのモデル公開とは性格を異にします。
LLM-jp-4シリーズの最初のリリースは2026年4月3日でした。このとき公開されたのは、約86億パラメータでLlama 2アーキテクチャを採用した「LLM-jp-4 8B」と、Qwen3 MoEアーキテクチャを採用した「LLM-jp-4 32B-A3B」の2つです。後者は総パラメータ約320億に対しアクティブパラメータが約38億、総エキスパート128のうち8つが推論時に動く構成でした。
このシリーズを特徴づけているのが学習コーパスです。オープンソースAIの定義（OSAID）に配慮し、第三者も入手可能なデータのみで構築されました。事前学習コーパスは総計約19.5兆トークン。内訳は日本語が約7,000億トークン、英語が約17.8兆トークン、中国語・韓国語が約8,500億トークン、プログラムコードが約2,000億トークンです。このうち配合比を実験で最適化したうえで約10.5兆トークンを事前学習に使用し、続く中間学習で1.2兆トークンを追加しています。前世代のLLM-jp-3.1シリーズと比べて約6倍の規模でした。学習にはNIIではなく、産業技術総合研究所のAI橋渡しクラウド「ABCI 3.0」が使われています。
性能面では、4月時点で既に興味深い数字が出ていました。llm-jp-judgeによる評価で、日本語MT-Benchのスコアは8Bが7.54、32B-A3Bが7.82。比較対象のGPT-4oは7.29、gpt-oss-20bは7.33、Qwen3-8Bは7.14でしたから、日本語理解では既存の強力な多言語モデルを上回っています。英語MT-Benchでも8Bが7.79、32B-A3Bが7.86で、GPT-4oの7.69を上回りました。ただしこちらはgpt-oss-20bが7.85とほぼ横並びで、日本語ほどの差はついていません。もっとも、MT-BenchはLLMを審査員に立てる評価であり、日本語コーパスに最適化されたモデルが日本語ベンチで有利になる構造的バイアスは差し引いて読む必要があります。
そして4月のリリースでは、より大規模なDenseモデルとMoEモデル、さらに実運用向けの軽量モデルを2026年度中に順次公開する予定であることも告知されていました。今回の33B公開は、その予告された系列に連なるものとみられます（8月のリリースは4月の予告との対応関係を明示していないため、ここは推測です）。
LLM-jp-4 33Bの中身──baseとthinkingの2本立て
今回公開された2つのモデルは、用途がはっきり分かれています。
llm-jp-4-33b-base は、大規模データによる事前学習と中間学習までを終えた段階のモデルです。指示に従う訓練は入っていないため、そのままチャットボットとして使うものではありません。特定タスクへの追加学習や、独自データでのカスタマイズを行う際の土台として使うことが想定されています。社内文書やドメイン特化コーパスでファインチューニングしたい場合、事後学習で味付けされていないベースモデルのほうが素直に振る舞うことが多く、この選択肢が公開されている意味は小さくありません。
llm-jp-4-33b-thinking は、そこにSFTとDPOによる事後学習を積んだモデルです。名称のとおり推論過程を明示的に扱うタイプのモデルで、そのまま対話や指示追従に使えます。
評価はLLM-jp自身が開発する評価フレームワーク llm-jp-judge で行われました。日本語MT-Bench、英語MT-Bench、AnswerCarefully、llm-jp-instructions という4つのベンチマークすべてで、これまでに公開されたすべてのLLM-jp-4 Thinkingモデルのスコアを上回ったと報告されています。ただし今回のリリースでは、4月のときのような具体的なスコア数値は公表されていません。「全ベンチで既存モデル超え」という定性的な記述にとどまっているため、GPT-4oや他の外部モデルとの位置関係を数字で確認したい場合は、続報かHugging Face上のモデルカードを待つ必要があります。
見落とされがちですが、DPOに使用したデータセットが同時公開された点も重要です。選好最適化のデータは、モデルがどんな回答を「良い」と学んだのかを直接規定します。それが公開されているということは、モデルの振る舞いの偏りを外部から検証できるということであり、透明性を掲げるプロジェクトとして筋の通った判断です。追試や、自前のDPOパイプラインの参考実装としても使えます。
Dense型33BとMoE型32B-A3Bの使い分け
パラメータ数だけ見ると、33B Dense と 32B-A3B MoE はほぼ同じ規模に見えます。しかし動作特性はかなり違います。
MoE型の 32B-A3B は、総パラメータ約320億のうち、1トークンの推論で実際に動くのは約38億パラメータ分だけです。128個のエキスパートから8個が選ばれて働く構成のため、計算量は3.8B級のモデルに近くなります。一方で、どのエキスパートが呼ばれるか事前に分からない以上、重みは全部メモリに載せておく必要があります。つまり「メモリは32B級、計算は4B級」という非対称なコスト構造になります。メモリに余裕があってスループットを稼ぎたい環境では、これは強力な特性です。
対してDense型の33Bは、全パラメータが毎トークン動きます。計算量は正直に33B分かかりますが、その代わりアーキテクチャが素直です。量子化ツール、推論エンジン、ファインチューニング用のライブラリ群は、いずれもDense型のTransformerを第一級市民として扱ってきた歴史があります。MoEは対応が進んだとはいえ、量子化時のエキスパート単位の扱いやルーティングの挙動など、周辺ツールの成熟度でDense型に一日の長があるのが現状です。
実務的な使い分けとしては、次のように整理できます。追加学習して自分のドメインに寄せたい、あるいは量子化を含めて手元で細かくチューニングしたいならDense型の33B。VRAMは確保できるがGPUの演算性能が控えめで、とにかく応答速度を出したいならMoE型の32B-A3B。ローカルLLM環境の選択肢がどこまで広がってきたかという全体像については、以前の記事「ローカルLLM環境の進化：分散推論と軽量モデルの現在地」も参考になります。
LLM-jp-4 33Bを自宅で動かすときの現実的な見積もり
ここからは公表値ではなく、パラメータ数からの単純計算による推定です。実測値ではない点にご注意ください。
332億パラメータのモデルを重みだけでメモリに載せる場合、必要量は「パラメータ数 × 1パラメータあたりのバイト数」でおおよそ見積もれます。
- BF16／FP16（2バイト）：約66GB
- INT8（1バイト）：約33GB
- 4bit量子化（0.5バイト）：約17GB
これに加えて、KVキャッシュ、アクティベーション、推論エンジンのオーバーヘッドが乗ります。KVキャッシュはコンテキスト長に比例して増えるため、長文を扱うほど上乗せは大きくなります。LLM-jp-4シリーズは4月時点で最大約6万5千トークンの入出力に対応していましたから、その長さを活かそうとするなら、KVキャッシュ分をかなり厚めに見ておくべきです。
現実的な構成に落とすと、こうなります。4bit量子化なら、24GB級のGPU 1枚でも重みは載る計算になります。ただしコンテキストを長く取るなら余裕は多くありません。INT8で運用するなら48GB級1枚、あるいは24GB×2枚のマルチGPU構成が視野に入ります。BF16のフル精度は、個人の環境では現実的とは言いがたい領域です。Apple Siliconのユニファイドメモリ機であれば、64GB以上のモデルで4bitからINT8あたりが狙えるでしょう。
そして量子化には代償があります。低ビット量子化はタスクの正解率をそれほど落とさないように見えても、モデル内部の挙動は確実に変わります。この点については以前「『The Illusion of Equivalency』が暴く量子化の幻想」で扱いました。精度指標だけを見て「等価だ」と判断するのは危険で、特に日本語性能を目当てにこのモデルを選ぶのであれば、量子化後に日本語タスクで挙動が保たれているかを自分で確認する価値があります。
もうひとつ、thinking系モデル特有の注意点があります。推論過程を明示的に出力するモデルは、最終的な回答に至るまでに大量のトークンを生成します。生成トークンが増えればKVキャッシュも伸び、レイテンシも延びます。ベンチマークのスコアが良くても、体感速度が期待どおりとは限りません。実際に自分のワークロードで測るまでは判断を保留するのが無難です。なお、小型モデルを実機で動かす際にどんな落とし穴が待っているかは「3BエージェントモデルをApple Siliconで本当に動かす」で具体例を挙げています。33Bクラスでも、事情の質はそう変わりません。
影響と今後：国産オープンLLMの現在地
このリリースの意味は、性能ランキング上の位置よりも、「誰でも中身を確かめられる日本語LLM」の系列が途切れずに更新されている、という事実そのものにあります。
OSAIDに配慮したコーパス構築は、単なる姿勢の表明ではありません。学習データの出所が第三者にも追えることは、著作権や個人情報をめぐる懸念に対して説明可能性を持つということであり、公共調達や規制対応が絡む場面では実利のある差別化要因になります。重みだけ配って学習データは非公開、というモデルとは前提が違います。
一方で、留意すべき点もあります。今回はベンチマークの具体数値が公表されていないため、外部モデルとの比較は現時点では行えません。また4月時点の告知では、より大規模なDenseモデルとMoEモデル「LLM-jp-4 332B-A31B」、および実運用向けの軽量モデルが2026年度中に順次公開予定とされていました。シリーズとしての全体像は、まだ描き切られていません。
手元で動かす立場からは、まず4bit量子化での挙動確認、次にベースモデルへの追加学習という順で試すのが妥当な入り方でしょう。少なくとも、クラウドAPIに投げられない日本語データを扱う用途において、選択肢が一つ増えたことは確かです。
よくある質問
LLM-jp-4 33Bはどこからダウンロードできるのか
Hugging Face で公開されています。ベースモデルは llm-jp/llm-jp-4-33b-base、事後学習済みモデルは llm-jp/llm-jp-4-33b-thinking です。DPOに使用したデータセットも llm-jp/llm-jp-4-33b-thinking-dpo-data として同時に公開されています。
baseとthinkingはどちらを使えばよいのか
そのまま対話や指示追従に使いたいなら llm-jp-4-33b-thinking です。SFTとDPOによる事後学習が済んでいます。独自データで追加学習してドメインに特化させたい場合は、事前学習と中間学習までで止まっている llm-jp-4-33b-base のほうが土台として扱いやすくなります。
LLM-jp-4 33Bを動かすにはどれくらいのGPUメモリが必要か
パラメータ数からの単純計算では、BF16で約66GB、INT8で約33GB、4bit量子化で約17GBが重みだけで必要になります。これにKVキャッシュとアクティベーション分が上乗せされます。したがって4bit量子化なら24GB級GPU 1枚が目安、INT8なら48GB級または24GB×2枚構成が現実的な線です。ただしこれは推定であり、実測値ではありません。
MoE型のLLM-jp-4 32B-A3BとDense型の33Bはどう違うのか
32B-A3Bは総パラメータ約320億のうち推論時に動くのが約38億のMoEモデルで、メモリは32B級を要求しつつ計算量は4B級に抑えられます。33BはDense型で全パラメータが毎回動くため計算量は重くなりますが、量子化やファインチューニングの周辺ツールが成熟している利点があります。
LLM-jp-4 33Bは商用利用できるのか
LLM-jp-4シリーズは4月のリリース時点で「オープンソースライセンスで公開」と明記されています。ただし具体的なライセンス条項は各モデルで確認すべき事項なので、利用前にHugging Face上のモデルカードに記載されたライセンス表記を必ず確認してください。
まとめ
2026年8月18日にNII・LLMCが公開した「LLM-jp-4 33B」は、約332億パラメータのDense型国産オープンLLMです。ベースモデルと事後学習済みのthinkingモデル、そしてDPO用データセットの3点セットで公開されました。llm-jp-judgeによる4ベンチマークすべてで既存のLLM-jp-4 Thinkingモデルを上回ったとされる一方、具体的なスコアは未公表です。
自宅環境で動かす観点では、4bit量子化なら24GB級GPU 1枚が現実的な入り口になりそうです。ただし量子化による挙動変化と、thinking系モデルの生成トークン量には注意が必要です。日本語データをクラウドに出したくない用途にとって、有力な選択肢がまた一つ増えたことは間違いありません。
参考ソース
- 約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開（LLM-jp、2026年8月18日） — https://llm-jp.nii.ac.jp/news/20260818/
- LLMC、332億パラメータの日本語LLM「LLM-jp-4 33B」を公開（PC Watch、2026年8月19日） — https://pc.watch.impress.co.jp/docs/news/2133929.html
- 約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開（国立情報学研究所、2026年4月3日） — https://www.nii.ac.jp/news/release/2026/0403.html
- llm-jp/llm-jp-4-33b-base（Hugging Face） — https://huggingface.co/llm-jp/llm-jp-4-33b-base
- llm-jp/llm-jp-4-33b-thinking（Hugging Face） — https://huggingface.co/llm-jp/llm-jp-4-33b-thinking
- llm-jp/llm-jp-4-33b-thinking-dpo-data（Hugging Face Datasets） — https://huggingface.co/datasets/llm-jp/llm-jp-4-33b-thinking-dpo-data