ローカルLLM構築ガイド|費用・スペック・手順を徹底解説

AIロボットとサーバーをフィーチャーした、ローカルLLM構築のクリーンなアイソメトリックイラスト。左側に『ローカルLLM構築ガイド』のテキスト。

「社内データをクラウドに送らずにAIを使いたい」「API料金を気にせず大規模言語モデルを試したい」——そんなニーズから、自分のPC上でLLM(大規模言語モデル)を動かすローカルLLMが注目を集めています。

しかし、実際に構築しようとすると「どのくらいのスペックが必要?」「費用は?」「WindowsとMacどちらが有利?」といった疑問が次々に出てくるものです。

この記事では、ローカルLLMの基本概念から、OS別の構築手順、必要なPCスペックと費用、2026年時点でおすすめのモデルまでを体系的に解説します。初めてローカルLLM環境を構築する方でも迷わないよう、ステップバイステップで進められる内容にまとめました。

記事のポイント
  • ローカルLLMのメリットとクラウドLLMとの違いが分かる
  • モデルサイズ別に必要なPCスペックと費用感を把握できる
  • Windows・Mac・Linux(Ubuntu)それぞれの構築手順を解説
  • 2026年最新のおすすめモデルと用途別の選び方を紹介
  • MacBook Air M4(24GB)で実測した速度とメモリを掲載
  • よくあるトラブルと対処法もカバー
目次

ローカルLLMとは?クラウドとの違いと構築するメリット

ローカルLLMとは、ChatGPTのようなクラウドサービスを使わず、自分のPCやサーバー上で直接LLM(Large Language Model:大規模言語モデル)を動かす仕組みのことです。

ローカルLLMの仕組み

クラウドLLMではユーザーの入力がインターネット経由でサーバーに送られ、推論結果が返ってきます。一方、ローカルLLMではモデルファイルをPCのストレージに保存し、GPU(またはCPU)を使って自分のマシン上で推論を実行します。

モデルファイルの形式としては、GGUF(llama.cppが使用する量子化形式)やSafetensors(Hugging Faceの標準形式)が主流です。特にGGUF形式は量子化(モデルの精度をわずかに落として軽量化する技術)されたファイルが豊富に公開されており、一般的なPCでも実用的な速度で動かせます。

クラウドLLMと比較した5つのメリット

  • プライバシー・セキュリティ:データが外部に一切送信されないため、機密情報や個人情報を扱う場面でも安心
  • コスト削減:API利用料が発生しない。初期投資(GPU購入など)のみで、以降はランニングコストほぼゼロ
  • オフライン動作:インターネット接続なしでも利用可能。出張先や制限のあるネットワーク環境でも使える
  • カスタマイズ自由度:ファインチューニング(追加学習)やプロンプトテンプレートの変更が自由自在
  • レイテンシの安定:ネットワーク遅延の影響を受けないため、応答速度が安定する

一方で、クラウドLLMと比べると最先端モデル(GPT-4oクラス)と同等の性能を得るにはハイスペックなハードウェアが必要になるという制約もあります。用途と予算に応じた適切なモデル選択が重要です。

ローカルLLM構築に必要なPCスペック

ローカルLLM構築で最も重要なのは、PCのハードウェアスペックです。特にGPUのVRAM(ビデオメモリ)容量がモデル選択の幅を決定づけます。

GPU(VRAM)が最重要パーツ

LLMの推論ではモデルのパラメータをメモリ上に展開する必要があります。モデルサイズが大きいほど多くのVRAMを消費し、VRAMに収まらない場合はシステムRAMへのオフロード(退避)が発生して大幅に速度が低下します。

2026年現在、ローカルLLM用途で人気のGPUは以下のとおりです。

  • NVIDIA GeForce RTX 4060(8GB VRAM):エントリー向け。7B〜13Bモデルの量子化版を動かせる
  • NVIDIA GeForce RTX 4070 Ti SUPER(16GB VRAM):ミドル向け。13B〜30Bモデルの量子化版に対応
  • NVIDIA GeForce RTX 4090(24GB VRAM):ハイエンド。30Bクラスの量子化版まで。70Bは収まらず、メインメモリへの退避が必要
  • NVIDIA RTX 5090(32GB VRAM):2025年登場のハイエンド。30Bクラスを余裕を持って動かせる。70Bは4bit量子化でも約38〜42GB必要なため、1枚には収まらない

MacユーザーにはApple Siliconの「ユニファイドメモリ」がGPUメモリとしても使える点が大きなアドバンテージです。ただし、GPUが使えるのは搭載メモリの一部です(24GBのMacで約19GB。後述の実測を参照)。

モデルサイズ別の推奨スペック一覧

以下は、GGUF形式の4bit量子化(Q4_K_M)モデルを動かす場合の目安です。

モデルサイズ必要VRAM目安推奨GPU例推奨RAMストレージ
7B(70億パラメータ)約5〜6GBRTX 4060(8GB)16GB以上10GB以上
13B(130億パラメータ)約8〜10GBRTX 4070 Ti SUPER(16GB)16GB以上15GB以上
30B(300億パラメータ)約18〜20GBRTX 4090(24GB)32GB以上25GB以上
70B(700億パラメータ)約38〜42GBRTX 5090(32GB)×2 or Mac M4 Max 64GB+64GB以上50GB以上

数値はあくまで目安であり、量子化方式やコンテキスト長の設定によって変動します。迷ったら「モデルの必要VRAM+2〜4GBの余裕」があるGPUを選ぶのが安全です。

使っているPCのメモリ量から、どのモデルが動くかを調べたいときはローカルLLM必要スペック診断も使ってみてください。Macのメモリ量やGPUのVRAMを選ぶと、動くモデルと必要メモリの目安が一覧で出ます。

CPU推論という選択肢

GPUがなくても、CPU推論でローカルLLMを動かすことは可能です。llama.cppはCPU推論に最適化されており、AVX2対応のCPUであれば7Bモデル程度なら実用的な速度を得られます。

ただし、GPUと比較すると推論速度は5〜20倍ほど遅くなるため、「まず試してみたい」という段階向けです。本格運用にはGPUの導入を推奨します。

ローカルLLM構築の費用はいくらかかる?

ローカルLLM構築にかかる費用は、大きく分けて「ハードウェアコスト」と「ソフトウェアコスト」の2つです。ソフトウェア側は無料ツールで完結できるため、実質的にはハードウェア費用のみとなります。

予算別おすすめ構成

スクロールできます
予算帯GPU構成実行可能なモデル概算費用(2026年時点)
エントリーRTX 4060(8GB)7Bモデルの量子化版約5〜7万円(GPU単体)
ミドルRTX 4070 Ti SUPER(16GB)13B〜30Bモデルの量子化版約10〜13万円(GPU単体)
ハイエンドRTX 4090 / RTX 509030B〜70Bモデルの量子化版約25〜40万円(GPU単体)
Mac(ミドル)MacBook Pro M4 Pro(24GB)13B〜30Bモデル約30〜35万円(本体)
Mac(ハイエンド)Mac Studio M4 Max(64GB〜)30B〜70Bモデル約45〜70万円(本体)

既存PCを活用する場合のコスト

すでにゲーミングPCやクリエイター向けPCを持っている場合は、追加コストなしでローカルLLMを試せる可能性があります。NVIDIA GeForce RTX 3060(12GB VRAM)以上のGPUを搭載していれば、7B〜13Bの量子化モデルは十分に動作します。

GPUのみ追加・交換する場合は、電源容量(RTX 4090なら850W以上推奨)やPCIeスロットの互換性を事前に確認してください。

ローカルLLM構築方法【OS共通ツール Ollama編】

2026年現在、ローカルLLM構築で最も手軽なのがOllamaです。Windows・Mac・Linuxのすべてに対応し、コマンド一つでモデルのダウンロードから実行まで完結します。

Ollamaのインストール手順(Windows / Mac / Linux)

Windows:

  1. Ollama公式サイトからWindows版インストーラをダウンロード
  2. インストーラを実行し、画面の指示に従ってインストール
  3. PowerShellまたはコマンドプロンプトを開き、ollama --versionでインストールを確認

Mac:

  1. 公式サイトからmacOS版をダウンロード、またはHomebrewでbrew install ollamaを実行
  2. ターミナルでollama --versionを実行して確認

Linux(Ubuntu):

  1. ターミナルで以下のコマンドを実行
    curl -fsSL https://ollama.com/install.sh | sh
  2. ollama --versionで確認

いずれのOSでも、インストール後の操作方法は同じです。これがOllamaの大きなメリットであり、OS間の差異を最小限に抑えてくれます。

モデルのダウンロードと実行

Ollamaではモデル名を指定するだけで自動的にダウンロードと起動が行われます。

ollama run llama3.1:8b

初回実行時にモデルファイルがダウンロードされ(7Bモデルで約4〜5GB)、完了後すぐにチャットが開始されます。主なコマンドは以下のとおりです。

  • ollama list:ダウンロード済みモデルの一覧表示
  • ollama pull <モデル名>:モデルのダウンロードのみ実行
  • ollama run <モデル名>:モデルの起動とチャット開始
  • ollama rm <モデル名>:モデルの削除
  • ollama serve:APIサーバーとして起動(デフォルトでポート11434)

Web UIの導入(Open WebUI)

コマンドラインでの操作に慣れていない場合は、Open WebUI(旧Ollama WebUI)を導入するとブラウザからChatGPTに似たインターフェースでローカルLLMを利用できます。

Dockerがインストール済みであれば、以下のコマンドで起動できます。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

起動後、ブラウザでhttp://localhost:3000にアクセスすると利用開始できます。詳しくはOpen WebUI公式リポジトリを参照してください。

Windows環境でのローカルLLM構築ポイント

Windowsは最もユーザー数が多いOSであり、ローカルLLM構築の情報も豊富です。ただし、いくつかWindows固有の注意点があります。

NVIDIA GPUドライバとCUDAの設定

NVIDIA GPUを使う場合、最新のGPUドライバをインストールしておく必要があります。Ollamaを使う場合はCUDA Toolkitの手動インストールは不要(Ollamaに組み込まれている)ですが、llama.cppやPython経由で直接推論を行う場合はCUDA Toolkit 12.xのインストールが必要です。

ドライバのバージョンはnvidia-smiコマンドで確認できます。CUDA 12.x対応には、ドライババージョン525以上が必要です。

WSL2を使う方法

Linux向けのツールやスクリプトをWindows上で使いたい場合は、WSL2(Windows Subsystem for Linux 2)が便利です。WSL2上のUbuntuからNVIDIA GPUにアクセスでき、Linuxネイティブと同等のパフォーマンスが得られます。

  1. PowerShell(管理者権限)でwsl --installを実行
  2. 再起動後、Microsoft StoreからUbuntuをインストール
  3. WSL2上のUbuntuで前述のOllamaインストール手順を実行

WSL2はDockerとの相性も良く、Open WebUIの導入もスムーズに行えます。

Mac環境でのローカルLLM構築ポイント

Apple Silicon(M1以降)搭載のMacは、ローカルLLM構築において独自の強みを持っています。

Apple Siliconの活用(Metal対応)

Apple Siliconの最大の利点は、CPUとGPUがユニファイドメモリを共有する設計です。搭載メモリの大部分をGPU用に使えるため、同じ価格帯のNVIDIA GPUより大きなモデルを載せやすくなります。ただし全部ではなく、メモリ24GBのMacBook Air(M4)で測ったところ、GPUが使える上限は約19GB(搭載量の約74%)でした。

OllamaはApple SiliconのMetal(AppleのGPU API)にネイティブ対応しており、特別な設定なしでGPU推論が有効になります。

MacBook Air M4(24GB)で実測した速度とメモリ

2026年11月14日に、メモリ24GBのMacBook Air(M4・ファンなし)とOllama 0.32.6で、代表的なモデルを実際に動かして測りました。日本語で400字ほどの説明を書かせたときの1秒あたりの文字数(3回の中央値)と、必要なメモリの目安です。

スクロールできます
モデル必要メモリの目安日本語の速さGPUへの載り方
qwen3.5:4b3.7GB毎秒59.3字すべてGPU
qwen3.5:9b7.0GB毎秒34.0字すべてGPU
gemma4:e4b7.1GB毎秒31.8字すべてGPU
gemma4:12b9.0GB毎秒15.7字すべてGPU
gpt-oss:20b14.0GB毎秒38.8字すべてGPU
qwen3.5:27b18.1GB毎秒11.7字65層中3層がはみ出す
gemma4:26b19.6GB毎秒41.3字一部がCPU側に回る

必要メモリの目安は、ダウンロード容量に会話の記憶(KVキャッシュ)と作業用メモリを足したもので、コンテキスト8Kのときの値です。測ってわかったことは次のとおりです。

  • GPUが使えるのは約19GBまで:OllamaのログではGPUの上限が18,186MiBでした。14GBのgpt-oss:20bは全部GPUに載りましたが、18GBのqwen3.5:27bははみ出し、毎秒約12字まで落ちました
  • 大きくても速いのはMoE型:gemma4:26b(128の専門家のうち8つだけを使う構成)は、同じGemma 4の12bより2.6倍速く出ました
  • 8bit版は4bit版より約4割遅い:qwen3.5:9bで毎秒15.3トークンから9.7トークンに下がり、必要メモリは7.0GBから10.7GBに増えました
  • 会話を長くしたときのメモリの増え方はモデルしだい:コンテキストを4Kから32Kにすると、llama3.1:8bは+2.1GB、gpt-oss:20bは+0.4GBでした

11モデルすべての結果と測定条件は、MacBook Air M4でローカルLLM実測|11モデル比較にまとめています。

Macで動かすのに向いているモデル

メモリ帯域幅の違いから、Macでは同じVRAM容量のNVIDIA GPUと比べてトークン生成速度がやや遅くなる傾向があります。しかし、メモリ容量を活かして大きなモデルを「動かせる」という点で優位です。

  • メモリ24GB(M4で実測):4bit量子化の9Bクラスまでは毎秒30字以上。30B前後は、MoE型なら実用的な速さ(gemma4:26bで毎秒約41字)、そうでないモデルはGPUからはみ出して遅くなる(qwen3.5:27bで毎秒約12字)
  • M4 Max(64GB):30B〜70Bモデルが実用レベルで動作
  • 128GB以上のMac:70B以上のモデルも展開可能

「大きなモデルをゆっくりでも動かしたい」「静音環境で作業したい」という用途には、Macが適しています。

Linux(Ubuntu)環境でのローカルLLM構築ポイント

本格的なローカルLLM環境を構築するなら、Linuxが最も柔軟で高性能です。特にUbuntuは情報が豊富で、多くのLLMツールが公式にサポートしています。

Ubuntu環境のセットアップ

Ubuntu 22.04 LTS または 24.04 LTSを推奨します。NVIDIA GPU利用時のセットアップ手順は以下のとおりです。

  1. NVIDIAドライバのインストール:sudo apt install nvidia-driver-555(バージョンは環境に合わせて変更)
  2. 再起動後、nvidia-smiでGPUが認識されていることを確認
  3. Ollamaをインストール:curl -fsSL https://ollama.com/install.sh | sh
  4. ollama run llama3.1:8bで動作確認

Ubuntu環境ではsystemdサービスとしてOllamaを自動起動設定でき、サーバー運用にも適しています。

llama.cppやvLLMの活用

Ollama以外にも、Linux環境ではより高度なツールを活用できます。

  • llama.cpp:C/C++で書かれた軽量な推論エンジン。量子化モデルの実行に最適化されており、細かなパラメータ調整が可能。GitHub公式リポジトリ
  • vLLM:Pythonベースの高速推論ライブラリ。PagedAttentionによる効率的なメモリ管理が特徴で、複数リクエストの同時処理に強い。GitHub公式リポジトリ
  • LM Studio:GUIベースのツール。Linux版も提供されており、コマンドラインに慣れていないユーザーにも使いやすい。公式サイト

用途に応じて、個人利用ならOllamaやLM Studio、APIサーバー運用ならvLLM、細かいカスタマイズならllama.cppという使い分けが一般的です。

2026年おすすめのローカルLLMモデル

オープンソース(またはオープンウェイト)のLLMは急速に進化しています。2026年11月時点でOllama公式ライブラリに並ぶ主なモデルは次のとおりです。

主要モデル比較表

スクロールできます
モデル名開発元パラメータ数特徴ライセンス
Gemma 4Googlee2b / e4b / 12b / 26b / 31b画像・音声の入力に対応。26bはMoE構成で、24GBのMacでも毎秒約41字出た(実測)Apache 2.0
Qwen3.5Alibaba(Qwen)0.8B / 2B / 4B / 9B / 27B / 35B / 122Bサイズの選択肢が細かい。画像の入力に対応。4bは今回測った中で最速(実測)Apache 2.0
gpt-ossOpenAI20B / 120BMoE構成。考える過程(thinking)を持つ。20bは約14GBで24GBのMacに収まった(実測)Apache 2.0
Llama 3.1 / 3.2Meta8B / 70B / 405B(3.2は1B / 3B)2024年公開の定番。情報が多く、試しやすいLlama 3.1 Community License
Phi-4Microsoft14B小型ながら推論能力が高い。コーディング用途に強いMIT License
Mistral / MixtralMistral AI7B / 8x7B / 8x22BMoE(Mixture of Experts)アーキテクチャで効率的な推論Apache 2.0
DeepSeek-V3DeepSeek671B(MoE、活性37B)MoE構成で実効パラメータが小さく、コスパ良好DeepSeek License

※Gemma 4・Qwen3.5・gpt-oss・Llama 3.1のサイズとライセンスは、2026年11月14日にOllama公式ライブラリで確認しました。モデルのバージョンやライセンスは頻繁に更新されるため、利用前にHugging Faceや各モデルのページで最新情報を確認してください。

用途別の選び方

  • 日本語チャット・文章生成:まずQwen3.5やGemma 4の小さいサイズから試すのが手軽。24GBのMacでは、qwen3.5:4b・9bやgemma4:e4bが毎秒30字以上出た(実測)
  • コーディング支援:コード向けに調整されたqwen3-coderや、Qwen3.6のcoding版がOllamaで配布されている(今回は未測定)
  • 汎用的な質問応答:gpt-oss(20b / 120b)やLlama 3.1。gpt-oss:20bは24GBのMacに収まり、毎秒約39字出た(実測)
  • 軽量環境(8GB VRAM以下):qwen3.5:4b(必要メモリ約3.7GB・実測)、gemma4:e2b(ダウンロード4.6GB)、Llama 3.2 3Bなど
  • RAG(検索拡張生成):長いコンテキストを扱えるQwen3.5(256K)やGemma 4(128K〜256K)。コンテキストを4Kから32Kに伸ばしても、qwen3.5:9bは+0.6GB、gemma4:e4bは+0.8GBしか増えなかった(実測)

迷った場合は、まずollama run qwen3.5:4bで基本的な動作を確認し、その後用途に合ったモデルを試すのが効率的です。必要メモリは約3.7GBと小さく、24GBのMacでは毎秒約59字出ました(実測)。

ローカルLLM構築でよくあるトラブルと対処法

初めてローカルLLM環境を構築する際に遭遇しやすいトラブルとその対処法をまとめます。

GPUが認識されない / CPU推論になってしまう

NVIDIAドライバが正しくインストールされているかnvidia-smiで確認してください。Ollamaの場合、ollama psでGPU利用状況を確認できます。ドライバの再インストールで解決することが多いです。

メモリ不足(Out of Memory)エラーが出る

モデルサイズに対してVRAMが不足しています。より小さなモデルを選ぶか、量子化レベルを下げて(例:Q4_K_MからQ3_K_Sへ)ファイルサイズを減らしてください。Ollamaではollama run llama3.1:8b-q4_0のように量子化を指定できます。

応答速度が極端に遅い

モデルの一部がシステムRAMにオフロードされている可能性があります。ollama psでGPU使用率を確認し、モデルが完全にGPUに収まるサイズか見直してください。また、他のアプリケーション(ブラウザ等)がVRAMを消費している場合もあります。なお、Ollama 0.32ではollama psが出すGemma 4のメモリ量が実際より小さく表示されることを確認しています(gemma4:e4bが0.29GBと表示。ログ上の必要量は約7GB)。

モデルのダウンロードが途中で止まる

ネットワークの問題が原因であることが多いです。ollama pull <モデル名>を再実行すれば、途中から再開されます。プロキシ環境下では環境変数の設定が必要な場合があります。

日本語の応答品質が低い

英語中心に学習されたモデルでは日本語性能が低いことがあります。新しい世代のモデル(Qwen3.5やGemma 4など)も試してみてください。また、システムプロンプトで「日本語で回答してください」と明示するだけでも改善する場合があります。

まとめ

ローカルLLM構築は、プライバシーの確保やコスト削減、カスタマイズの自由度など多くのメリットがあり、2026年現在ではOllamaのようなツールの登場によって導入ハードルが大きく下がっています。

構築のポイントを改めて整理すると、以下のようになります。

記事のまとめ
  1. スペック:GPU(VRAM)が最重要。4bit量子化なら8GBで7B、16GBで13B、24GBで30Bクラスが目安。Macは搭載メモリの一部がGPU用になる(24GBで約19GB・実測)
  2. 費用:GPU単体で5〜40万円程度。既存のゲーミングPCがあれば追加費用なしで始められる場合も
  3. OS:Windows・Mac・Linuxいずれでも構築可能。Ollamaを使えばOS間の差は最小限
  4. モデル選び:2026年11月時点の新しい世代はGemma 4・Qwen3.5・gpt-oss。速さは「何B」よりMoE型かどうかで大きく変わる(実測)
  5. 最初の一歩:Ollamaをインストールしてollama run qwen3.5:4bを実行するだけで体験できる

まずは手元のPCにOllamaをインストールし、小さなモデルから試してみてください。実際に動かしてみると、必要なスペック感や用途に合ったモデルの選び方が体感で分かるようになります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次