ホームラボでローカルLLMを動かす構成例——12GB・24GB・48GB VRAM別のモデル、速度、消費電力、費用
「自宅サーバー（homelab）でローカルLLMを動かしたい。でも、どのGPUを買えばどのモデルが動くのか、速度はどれくらい出るのか、電気代はいくらかかるのか——組み合わせが多すぎて分からない」――そんな悩みに答える記事です。
本記事では、VRAM容量帯（12GB / 24GB / 48GB）別に「動くモデル・量子化・生成速度・消費電力・費用」を整理します。数値はすべてNVIDIA・Apple・Qwen・llama.cppなどの一次・公式ソースを確認した上で、速度・価格・電気代は計算根拠を開示した「目安」として提示します。
結論：バランスの良い構成の目安（直接回答）
まず結論から。迷ったら「中古RTX 3090（24GB）＋ Qwen3-32B または Qwen3-30B-A3B のQ4_K_M量子化 ＋ Ollama／llama.cpp」が、コスト・速度・モデル選択肢のバランスで最もおすすめできる構成です。
理由は3つあります。
- 24GBのVRAMに32B級モデルのQ4_K_Mが丸ごと載る——Qwen3-32BのQ4_K_Mは約20GB。12GB帯では物理的に不可能なサイズです（Qwen3公式ブログ）
- メモリ帯域幅936GB/sで生成速度の目安は20〜30トークン/秒——体感としては十分快適な速度です
- 中古で10万円前後——48GB帯構成の半額以下で、本命級のモデルが動きます
予算別の即答表はこちらです（価格は執筆時点の目安）。
| 予算 | 構成の目安 |
|---|---|
| 5万円 | RTX 3060 12GB ＋ Qwen3-8B Q4_K_M |
| 10万円 | 中古RTX 3090 24GB ＋ Qwen3-32B Q4_K_M |
| 20万円 | 2x RTX 3090（48GB計）＋ Llama 3.3 70B Q4_K_M |
| 60万円〜／静音重視 | Mac Studio M5 Ultra（64GB以上のユニファイドメモリ） |
そして、構成を判断する軸は3つだけです。
- VRAM容量——どのサイズのモデルが載るかを決める
- メモリ帯域幅——生成速度のほぼすべてを決める
- 消費電力（電気代）——維持費を決める
この3つの軸の物理法則を先に理解しておくと、以降の各VRAM帯の解説がとても読みやすくなります。
前提知識——速度とVRAMを決めるたった2つの物理法則
ローカルLLMの構成選びは、複雑に見えて次の2つの物理法則にほぼ集約されます。
法則1: 生成速度は「メモリ帯域幅 ÷ モデルサイズ」でほぼ決まる
トークンを1つ生成するたびに、モデルの全パラメータ（活性分）をメモリから読み出す必要があります。したがって生成速度のおおよその理論上限は次の式で求められます（llama.cpp公式のトークン生成パフォーマンスガイドのロジックに基づく試算方法です）。
生成速度の理論上限（tok/s） ≒ メモリ帯域幅（GB/s） ÷ モデルサイズ（GB）
実際の速度 ≒ 理論上限 × 実効効率40〜60%（目安）
例えばRTX 3090（帯域幅936GB/s）でQwen3-32B Q4_K_M（約20GB）を動かす場合、936 ÷ 20 ≒ 47 tok/sが理論上限で、実効効率を勘案すると20〜30 tok/s程度が目安になります。
この法則が教えてくれる重要な帰結があります。「GPUの等級よりメモリ帯域幅が同じなら速度はほぼ同じ」ということです。例えばRTX 3090（936GB/s）とRTX 4090（1008GB/s）は帯域幅が近いため、32Bモデルの生成速度はほぼ同等（差はアーキテクチャ効率の分だけ）です。高級GPUへの買い替えが必ずしも速度に直結しない、というのは覚えておくと買い物で失敗しません。
なお、Qwen3-30B-A3BのようなMoE（Mixture of Experts）モデルは、総パラメータが30Bでも推論時に活性化するのは3B分だけなので、同じ24GB帯でも数倍速くなります。この点は後述の24GB帯セクションで詳しく扱います。
法則2: VRAM必要量は「量子化ビット × パラメータ数 ＋ KVキャッシュ」
モデルがVRAMに載るかどうかは、次の式で概算できます。
必要VRAM ≒ （量子化ビット数 ÷ 8） × パラメータ数 ＋ KVキャッシュ分（+1〜3GB程度）
ここで鍵になるのが量子化です。llama.cpp公式リポジトリが1.5〜8bitの整数量子化に対応しており、特にQ4_K_M（約4.8bit/パラメータ）は「品質劣化をほとんど感じない事実上の標準」となっています。量子化フォーマット別のファイルサイズ目安はこちらです（Hugging Faceの公式GGUFリポジトリ・Ollamaライブラリの表示サイズに基づく目安）。
| 量子化 | 1パラメータあたりbit | 8Bモデル | 32Bモデル | 70Bモデル |
|---|---|---|---|---|
| Q4_K_M | 約4.8bit | 約4.9GB | 約19〜20GB | 約40〜43GB |
| Q5_K_M | 約5.7bit | 約5.7GB | 約23GB | 約49GB |
| Q6_K | 約6.6bit | 約6.6GB | 約26〜27GB | 約55GB |
| Q8_0 | 8.5bit | 約8.5GB | 約34GB | 約71GB |
この表から読み取れる通り、Q4_K_Mなら12GB帯に8B、24GB帯に32B、48GB帯に70Bが載る、というのが各VRAM帯の目安になります（載るかどうかの境界がこれで決まります）。
VRAMが足りない場合の逃げ道もあります。llama.cppは公式に「CPU+GPUハイブリッド推論」——VRAM容量を超えるモデルの一部をCPU側メモリに置いて部分オフロードする機能——に対応しています。ただしCPU側の帯域幅はGPUより1〜2桁遅いため、生成速度は大幅に低下します。あくまで「動かすことはできる」機能と捉えるのが正確です。
また、長文コンテキストを扱う際はKVキャッシュが余分にVRAMを消費し、思ったより早く容量が逼迫します。KVキャッシュの再利用でこの問題を緩和する手法については、KVキャッシュを再利用してLLM推論を4.49倍高速化するKVBoostの解説記事で詳しく扱っています。
この2つの法則（速度＝帯域幅÷モデルサイズ、VRAM＝量子化×パラメータ数）を頭に入れたら、次のセクションからVRAM帯別の具体的な構成例を見ていきましょう。
12GB帯（RTX 3060 12GB / RTX 4070）——入門の最適解
「まずは試してみたい」という人に最適なのが12GB帯です。GPU本体が3〜9万円で手に入り、8Bクラスのモデルなら余裕を持んで丸ごとVRAMに載ります。
動くモデル
12GB VRAMに収まる定番モデルは以下の通りです（量子化後のファイルサイズはOllamaライブラリやHugging Faceの公式GGUFリポジトリ表示に基づく目安です）。
| モデル | 量子化 | サイズ目安 | 備考 |
|---|---|---|---|
| Qwen3-4B | Q4_K_M | 約3GB未満 | 軽快。低遅延チャット向け |
| Qwen3-8B | Q4_K_M | 約4.9GB | この帯の本命。実用性能 |
| Gemma 3 4B | Q4/Q5 | 約3-4GB | 128Kコンテキスト |
| Gemma 3 12B | Q4 | 約7GB前後 | 12GBギリギリだが載る |
Qwen3公式ブログ（Qwen3）でも、Denseモデルの8B/4B/1.7B/0.6BがApache 2.0ライセンスで公開されており、Ollama / LM Studio / llama.cppでのローカル実行が公式に推奨されています。Gemma 3もGoogle公式が「単一GPUで動かせる」ことをうたい文句にしており、4B・12Bはまさにこの帯域の向けモデルです（Gemma 3公式ブログ）。
速度の目安
| GPU | メモリ帯域幅 | Qwen3-8B Q4での生成速度目安 | 計算根拠 |
|---|---|---|---|
| RTX 3060 12GB | 360 GB/s | 20-30 tok/s | 360÷4.9GB ≒ 理論上限73 tok/s × 実効効率40-50% |
| RTX 4070 | 504 GB/s | 35-50 tok/s | 504÷4.9GB ≒ 理論上限103 tok/s × 実効効率40-50% |
生成速度は「メモリ帯域幅 ÷ モデルサイズ」でほぼ決まるため（llama.cpp公式パフォーマンスガイドのロジックに基づく目安試算）、帯域幅が1.4倍のRTX 4070はRTX 3060の1.4倍前後速くなります。人間の読解速度（5-10 tok/s程度）を大きく上回るため、チャット用途では体感的に十分な速度です。
消費電力と電気代の目安
RTX 3060はTGP 170W、RTX 4070は200W（いずれもNVIDIA公式の定番仕様値）。PC全体では推論時に約250W消費すると仮定し、電力量単価32円/kWhで試算すると:
| 稼働パターン | 計算式 | 月電気代目安 |
|---|---|---|
| 1日2時間 | 0.25kW × 60h × 32円 | 約400-500円 |
| 24時間常時 | 0.25kW × 720h × 32円 | 約5,400-6,800円 |
（※電力はTDPベースの目安。実測は推論中でTDPの60-90%程度に収まることが多く、前後します。単価は30-35円/kWh程度が目安で、正確な額は東京電力エナジーパートナーの料金シミュレーション等で確認してください）
費用と向いている用途
- GPU費用の目安: RTX 3060 12GBが中古〜新品で3〜4万円台、RTX 4070が8〜9万円台（執筆時点の流通価格目安。変動するため価格.com等で要確認）
- 向いている用途: チャット、要約、翻訳、コード補完。Qwen3-8B Q4_K_Mクラスは実用域の応答品質があります
なお「GPUを買わずCPU推論で済ませる」選択肢もあります。電力効率に特化したCPU推論専用設計の小型モデルについては、Daedalus-150M：アテンションの2/3を畳み込みに置き換えた、CPU推論専用設計の小型言語モデルで詳しく解説しています。
24GB帯（RTX 3090 / RTX 4090 / RTX 5090 32GB）——本命の帯域
「32B級のDenseモデルを丸ごと載せる」最初の帯域が24GB帯です。中古RTX 3090が10万円前後で手に入ることを考えると、コスト・速度・モデル選択肢のバランスで本命となります。
動くモデル
| モデル | 種類 | 量子化 | サイズ目安 | 特徴 |
|---|---|---|---|---|
| Qwen3-32B | Dense | Q4_K_M | 約20GB | この帯の主力。高品質 |
| Qwen3-30B-A3B | MoE（総30B・活性3B） | Q4 | 約18-19GB | 活性3Bのため爆速。128Kコンテキスト |
| Qwen3-14B | Dense | Q4〜Q5 | 約9-10GB | 余裕を持って動く。速度重視向け |
| Gemma 3 27B | Dense | Q4_K_M | 約17GB | Google系の選択肢 |
特筆すべきはMoE（Mixture of Experts）の恩恵です。Qwen3-30B-A3Bは総パラメータ30Bでも推論時に活性化するのは3Bだけ（Qwen3公式ブログ）。生成速度は「帯域幅 ÷ 活性パラメータのサイズ」で決まるため、RTX 4090では60-80 tok/sと、同サイズ帯のDenseモデル（25-35 tok/s）の2倍以上が出ます。「速さと品質を両取りしたい」ならMoE、「安定した高品質」ならDenseのQwen3-32B、という使い分けになります。
速度の目安
| GPU | VRAM | メモリ帯域幅 | Qwen3-32B Q4 | Qwen3-30B-A3B Q4 | 計算根拠 |
|---|---|---|---|---|---|
| RTX 3090 | 24GB | 936 GB/s | 20-30 tok/s | 50-70 tok/s | 936÷20GB、MoEは活性3B分 |
| RTX 4090 | 24GB | 1008 GB/s | 25-35 tok/s | 60-80 tok/s | 1008÷20GB |
| RTX 5090 | 32GB | 1792 GB/s | — | — | 32GBではQ5〜Q6が載る: 45-60 tok/s（1792÷23-27GB） |
（※いずれも帯域幅ベースの理論試算 × 実効効率40-60%による目安であり、実測保証値ではありません）
面白いのはRTX 3090とRTX 4090の差が小さい点です。メモリ帯域幅は936 vs 1008GB/sと1.08倍程度しか違わず、速度の物理が「計算能力より帯域幅」にあることをそのまま示しています。アーキテクチャ世代が違っても帯域幅が同じなら、生成速度はほぼ同じ——これが3090中古買いの根拠になります。
RTX 5090について注意: RTX 5090はVRAMが32GB（GDDR7）です（NVIDIA公式ページで「32GB の超高速 GDDR7 メモリ」と確認済み）。24GBではなく32GBあるため、本記事では「24GB帯の延長」として扱いつつ、Qwen3-32BのQ5_K_M（約23GB）〜Q6_K（約26-27GB）が載る帯域として位置づけます。帯域幅1792GB/sはRTX 4090の1.8倍で、速度面でも抜きん出ています。
消費電力と電気代の目安
RTX 3090が350W、RTX 4090が450W、RTX 5090が575W（TGP。RTX 4090の24GB GDDR6XとRTX 5090の850W以上電源要件は公式ページで確認済み）。RTX 4090システム全体で推論時約550Wと仮定し、32円/kWhで試算すると:
| 稼働パターン | 計算式 | 月電気代目安 |
|---|---|---|
| 1日2時間 | 0.55kW × 60h × 32円 | 約900-1,150円 |
| 24時間常時 | 0.55kW × 720h × 32円 | 約12,000-14,500円 |
24時間常時稼働なら月1.2-1.4万円と、なかなかの金額になります。この「維持費とクラウドAPI利用の損益分岐」を考える際の思考フレームワークは、推論トークンは本当に元を取れるのか？——LLMの「考えるコスト」を測る Token Economy Score（TES）で詳しく扱っています。
費用の目安
- 中古RTX 3090: 10万円前後。24GB・936GB/sというスペックに対して最安の入口
- RTX 4090: 25-30万円台（生産終了に伴い変動あり）
- RTX 5090: 国内実売30万円超（米国定価$1,999）。電源要件850W以上
この帯のモデルは十分に「エージェントの頭脳」として使える水準にあります。ローカルLLMをMCPツール呼び出しでエージェント化する実践例は、ローカルLLMでハードウェア設計を自動化する——MCPツール呼び出しベンチマークが明かしたエージェント設計の実践知で解説しています。
48GB帯（RTX A6000 / 2x24GB / Mac Studio）——70Bと巨大MoEの世界
「70BクラスをQ4で快適に動かせる最初の帯域」が48GB帯です。Llama 3.3 70B Q4_K_M（約40-43GB）がギリギリ載り、Qwen3-32BならQ8_0（約34GB）の高精度量子化が余裕を持って動きます。
動くモデル
| モデル | 量子化 | サイズ目安 | 備考 |
|---|---|---|---|
| Llama 3.3 70B | Q4_K_M | 約40-43GB | 48GB帯の定番（Meta Llama公式） |
| Qwen3-32B | Q8_0 | 約34GB | 高精度量子化でフル性能 |
| Qwen3-235B-A22B | Q4（GGUF量子化） | 約120GB級 | 活性22Bの巨大MoE。48GBでは載り切らないため64GB+の統合メモリ向け |
構成別比較
| 構成 | 総VRAM/メモリ | 帯域幅 | 70B Q4での速度目安 | 消費電力目安 | 費用目安 |
|---|---|---|---|---|---|
| RTX A6000 単体 | 48GB | 768 GB/s | 8-12 tok/s | 300W（TDP） | 40-60万円 |
| 2x RTX 3090 | 48GB計 | 936 GB/s ×2 | 15-20 tok/s | 850W級（システム全体） | 20万円前後（中古2枚） |
| Mac Studio M5 Ultra | 64-512GB統合 | 公式非公開 | 10-20 tok/s程度（推定） | 実効60-150W | 60万円級〜 |
（※速度はいずれも帯域幅÷モデルサイズの理論試算を含む目安。Mac StudioはApple公式が帯域幅数値を提示していないため推定精度が低い点に留意）
各構成の特徴は以下の通りです。
RTX A6000（48GB・768GB/s・300W）: ワークステーション向けのプロフェッショナルGPU（NVIDIA公式）。単体48GB・静音・300Wという運用性の良さが強みですが、帯域幅768GB/sはRTX 3090の936GB/sより遅く、70B Q4では8-12 tok/sとやや物足りません。価格も40-60万円級と高価です。
2x RTX 3090（48GB計）: 中古RTX 3090を2枚束ねる構成で、マルチGPU推論はllama.cpp公式ドキュメントでサポート済み。帯域合成の恩恵で15-20 tok/sとA6000単体より速く、費用は20万円前後と半額以下。コストパフォーマンス構成の定番です。ただしシステム全体で850W級の消費になり、32円/kWh・1日2時間稼働でも月1,400-1,800円、24時間常時なら月19,000-23,000円と電気代が跳ね上がります。
Mac Studio M5 Ultra: 統合メモリが36GB〜512GBまで拡張可能で、Apple公式も「フロンティアクラスのモデルの実行も、すべてデバイス上で実現。クラウドトークンは必要ありません」と明言しています（Mac Studio公式）。64GB以上の構成ならLlama 3.3 70B Q4はもちろん、Qwen3-235B-A22Bのような巨大MoEのQ4量子化（活性22Bなので速度も実用域）まで載るのが最大の強みです。実効消費電力60-150W・静音という運用性も圧倒的で、1日2時間なら月電気代約120-320円しかかかりません。一方で統合メモリの帯域幅はGPUのGDDRに及ばない場合があり、生成速度は同型番帯のGPU構成より劣ることがあります。「静音・省電力・巨大モデル優先」なら最良、「速度最優先」ならGPU構成、という棲み分けです。
48GB帯のコスト正当化
この帯域に入るとGPU投資が20-60万円、電気代も月1,000円台後半〜と、コストは明確に上がります。「ここまで払ってローカルにこだわる意味はあるのか」を、クラウドAPIのトークン単価と比較して定量的に考えるフレームワークがTES（Token Economy Score）記事です。月間トークン消費量が多いヘビーユーザーほど、ローカルの固定費が割り切れるようになります。
独自比較表——VRAM帯別 総合比較
これまでの内容を、一目で比較できる表にまとめました。
| VRAM帯 | 代表GPU | 定番モデル(量子化) | 生成速度目安 | 推論時消費電力 | GPU費用目安 | 月電気代目安(1日2h/24h) |
|---|---|---|---|---|---|---|
| 12GB | RTX 3060 / 4070 | Qwen3-8B Q4_K_M | 20-50 tok/s | 170-250W | 3〜9万円 | 約500円 / 約6,000円 |
| 24GB | RTX 3090 / 4090 | Qwen3-32B Q4_K_M | 20-35 tok/s | 350-550W | 10〜30万円 | 約1,000円 / 約13,000円 |
| 32GB | RTX 5090 | Qwen3-32B Q5〜Q6 | 45-60 tok/s | 575W | 30万円超 | 約1,100円 / 約14,000円 |
| 48GB | RTX A6000 / 2x RTX 3090 | Llama 3.3 70B Q4_K_M | 8-20 tok/s | 300-850W | 20〜60万円 | 約1,600円 / 約21,000円 |
| 統合メモリ64GB+ | Mac Studio M5 Ultra | Llama 3.3 70B〜235B Q4 | 10-25 tok/s | 60-150W（実効） | 60万円〜 | 約300円 / 約8,000円 |
この表の計算根拠（数値はすべて目安です）:
- 生成速度: メモリ帯域幅 ÷ モデルサイズ（活性パラメータ×バイト数）で理論上限を算出し、実効効率40〜60%を掛けた試算値です（llama.cpp公式のトークン生成パフォーマンスガイドのロジックに基づく目安。実測保証値ではありません）。例: RTX 3090（936GB/s）÷ Qwen3-32B Q4（約20GB）≒ 上限47tok/s → 実効20-30tok/s。
- 電気代: 32円/kWhで試算（日本の家庭向け電力量単価の目安30〜35円/kWhの中央値付近。正確な単価は東京電力エナジーパートナーの料金シミュレーションで確認してください）。月額 ≈ 消費電力(W) ÷ 1000 × 稼働時間(h/月) × 32円。消費電力はGPUボードTDP・公式最大消費電力ベースの目安で、実測は推論中でもTDPの60〜90%程度に収まることが多い点も加味してください。
- 費用: 2026年執筆時点の流通価格目安です。価格は日々変動するため、購入前に価格.com等で最終確認をおすすめします。
- なお、MoEモデル（例: Qwen3-30B-A3B）は活性パラメータが小さいため、この表のDenseモデル前提の速度より大幅に速くなります（RTX 4090で60-80tok/s）。
ソフトウェアスタックの選び方
ハードウェアと同じくらい重要なのがソフトウェアの選択です。代表的な3つを用途別に整理します。
Ollama——初心者に最適
ollama run qwen3:8bのようなワンコマンドでモデルのダウンロードから実行まで完結します- GGUF形式の量子化モデルを自動でダウンロード・管理してくれます（Ollama公式ライブラリ）
- Qwen3の公式ブログもローカル実行手段としてOllama / LM Studio / MLX / llama.cpp / KTransformersを挙げています
- まず「動かす」こと自体が目的なら、これ一択で問題ありません
llama.cpp——上級者向け・細部まで制御
- 量子化（1.5〜8bit）の作成、マルチGPU構成、VRAM不足時の部分オフロード（CPU+GPUハイブリッド推論）まで直接制御できます（llama.cpp公式リポジトリ）
- マルチGPU公式ドキュメントも整備されており、2x RTX 3090のような構成では必須の知識になります
- Apple Siliconは第一級市民として最適化（Metal）されているため、Mac Studio構成でも活躍します
vLLM / SGLang——本番サーバー用途
- 複数ユーザー・大量リクエストを捌く本番サーバー向きの推論エンジンです。Qwen公式もサーバーデプロイ手段として推奨しています
- ホームラボで個人利用する範囲ならOllama/llama.cppで十分です
よくある質問（FAQ）
Q: 量子化（Q4_K_M）で品質は落ちないの?
A: ほとんどの用途（チャット・要約・一般的なコード生成）では体感差は小さく、Q4_K_Mは事実上の標準です。ただし数理推論や精密なコードタスクではQ5_K_M / Q6_K / Q8_0といった高精度量子化を推奨します。VRAMに余裕があるなら、一段上の量子化を試す価値はあります。
Q: VRAMが足りなければ一部をCPUに逃がせる?
A: 可能です。llama.cpp公式が「CPU+GPUハイブリッド推論」に対応しており、VRAM容量を超えるモデルを部分オフロードして動かせます。ただしCPU側のメモリ帯域幅はGPUより桁違いに遅いため、生成速度は大幅に低下します。「動くけど遅い」緊急避難手段と考えるのが妥当です。
Q: 中古RTX 3090はまだ買い?
A: 24GB VRAM・936GB/sの帯域幅というスペックに対し、中古価格が10万円前後であることを考えると、コストパフォーマンスは現時点でも最良クラスです。注意点は、マイニング稼働歴のある個体やクーラー（ファン・サーマルパッド）の劣化です。Seller保証付きの中古ショップ購入をおすすめします。
Q: Mac StudioでローカルLLMは実用的?
A: 用途次第です。統合メモリはM5 Ultraで最大512GBまで拡張でき、Apple公式も「フロンティアクラスのモデルの実行も、すべてデバイス上で実現」と明言しており、235B級の巨大モデルすら載せられます。一方で生成速度はメモリ帯域幅に依存するため、GPU帯には及ばない場合があります。静音・省電力を最優先するなら最良の選択肢です。電力効率特化のCPU推論という対抗馬もあります（Daedalus-150Mの記事を参照）。
Q: 電気代はいくらかかる?
A: 32円/kWh試算の目安で、1日2時間の利用なら月数百円〜1,800円程度、24時間常時稼働なら月6,000〜23,000円と大きく開きます。常時稼働なら「クラウドAPIを払い続ける方が安い」という損益分岐が存在します。この経済性の詳細は推論トークン費用/TES（Token Economy Score）の記事で詳しく分析しています。
Q: どのサイズのモデルを選べばいい?
A: 判断はシンプルです。①「VRAMに収まる最大のDenseモデル」（品質最優先）か、②「MoEモデルの高速性」（速度最優先）か、用途で選んでください。例えば24GB帯なら、品質ならQwen3-32B Q4_K_M（20-30tok/s）、速度ならQwen3-30B-A3B Q4（RTX 4090で60-80tok/s）という使い分けになります。長文コンテキストを扱うならKVキャッシュのVRAM逼迫にも注意が必要です（KVBoostの記事で詳解）。
まとめ
- 12GBは入門、24GBは本命、48GBは本気。RTX 3060で8Bクラスを気軽に試し、中古RTX 3090で32B級に手を伸ばし、2x 3090やMac Studioで70B・巨大MoEへ——という階段が基本です。
- 迷ったら「中古RTX 3090 + Qwen3-32B / Qwen3-30B-A3B のQ4_K_M + Ollama」がコスト・速度・モデル選択肢のバランス最良です。
- 判断の軸はたった3つ: 速度はメモリ帯域幅、載るかはVRAM容量、維持費は電力。この3つで考えれば、新しいGPUやモデルが出ても迷いません。
- まずはOllamaでQwen3-8Bを動かしてみるのが最短ルートです。その先の深化は、下の関連記事へどうぞ。
関連記事
- KVキャッシュを再利用してLLM推論を4.49倍高速化——KVBoostが切り拓く自宅サーバーLLMの新境地 — 長文コンテキストでKVキャッシュが逼迫する問題とその解決策
- ローカルLLMでハードウェア設計を自動化する——MCPツール呼び出しベンチマークが明かしたエージェント設計の実践知 — ローカルLLMをMCPでエージェント化する実践
- 推論トークンは本当に元を取れるのか？——LLMの「考えるコスト」を測る Token Economy Score（TES） — ローカル推論 vs クラウドAPIの経済性分析
- LLM-jp-4 33B公開：国産オープンLLMは自宅サーバーで動かせるか — 国産LLMを自宅サーバーで動かす実践
- 2026年のエッジAI革命：スモール言語モデル(SLM)が変えるオンデバイス推論の未来と実践ガイド
出典・参考文献
- NVIDIA RTX 5090 公式: https://www.nvidia.com/ja-jp/geforce/graphics-cards/50-series/rtx-5090/
- NVIDIA RTX 4090 公式: https://www.nvidia.com/ja-jp/geforce/graphics-cards/40-series/rtx-4090/
- NVIDIA RTX 30シリーズ公式: https://www.nvidia.com/ja-jp/geforce/graphics-cards/30-series/
- NVIDIA RTX A6000 公式: https://www.nvidia.com/en-us/products/workstations/rtx-a6000/
- Apple Mac Studio 公式: https://www.apple.com/jp/mac-studio/
- Qwen3 公式ブログ: https://qwenlm.github.io/blog/qwen3/
- Gemma 3 公式（Google ブログ）: https://blog.google/innovation-and-ai/technology/developers-tools/gemma-3/
- Meta Llama 公式: https://www.llama.com/
- llama.cpp 公式リポジトリ: https://github.com/ggml-org/llama.cpp
- llama.cpp トークン生成パフォーマンスガイド: https://github.com/ggml-org/llama.cpp/blob/master/docs/development/token_generation_performance_tips.md
- llama.cpp マルチGPUドキュメント: https://github.com/ggml-org/llama.cpp/blob/master/docs/multi-gpu.md
- Ollama 公式: https://github.com/ollama/ollama / https://ollama.com / https://ollama.com/library
- 東京電力エナジーパートナー 料金プラン: https://www.tepco.co.jp/ep/private/plan/
- GPU価格比較（参考）: https://kakaku.com/pc/videocard/