ローカルAI

ローカルLLM主要7社を比較！16GB・64GB・128GBで動くモデルと生成速度【2026年版】

OpenAIのgpt-ossやQwen、Gemma、Llama、DeepSeek、Mistral、Phiの開発企業・ライセンスを紹介。16GB・64GB・128GB別のモデル容量と実測トークン/秒を比較します。

社内文書の要約や検索、プログラム生成などにAIを使う方法として、PCや社内サーバーで動かすローカルLLM（大規模言語モデル）があります。外部のAIサービスに文書を送らずに処理できるため、データの保存場所やアクセス方法を自社で管理したい場合に向いています。

ただし、モデルのパラメーター数と処理速度は比例しません。メモリが多くてもGPUが遅ければ、回答が出るまで時間がかかります。

ここではメモリ16GB・64GB・128GBの構成を対象に、どのモデルが動くのか、実際の生成速度は何トークン/秒なのかを公開ベンチマークで比較します。調査日は2026年10月28日です。

自分のPCで動かせる「公開モデル」とは

ChatGPTやGeminiなどのクラウドサービスとは別に、開発元が学習済みの重み（ウェイト）を公開しているLLMがあります。重みをダウンロードして手元のPCやサーバーで実行するモデルを「オープンウェイトLLM」と呼びます。

実行にはOllama、llama.cpp、vLLMなどのソフトウェアを使います。モデルのライセンスによっては、追加学習（ファインチューニング）や商用システムへの組み込みも可能です。

オープンソースとオープンウェイトの違い

「オープンソースLLM」と呼ばれるモデルの中にも、公開範囲と利用条件に違いがあります。

  • オープンウェイト：学習済みの重みが公開され、ローカル環境で動かせる。学習データや学習工程がすべて公開されるとは限らない。
  • オープンソースAI：Open Source Initiative（OSI）の定義では、重みだけでなく、学習・実行コードと学習データに関する十分な情報も含め、利用・研究・改変・共有できることが求められる。
  • 独自ライセンスの公開モデル：重みを入手できても、再配布条件、用途、表示義務、利用者規模などに制限がある場合がある。

以下では、重みが公開され、ローカルで実行できるモデルを比較します。ダウンロードが無料でも、すべての用途に自由に使えるとは限りません。

主な公開LLMと開発元

開発元 代表的な公開モデル 特徴・得意分野 ライセンスの例
OpenAI（米国） gpt-oss-20b / 120b 推論、ツール呼び出し、構造化出力を重視。20Bは小型PC、120Bは大容量環境向け Apache 2.0＋使用ポリシー
Alibaba / Qwenチーム（中国） Qwen3.5 4B / 9B / 27B / 35B-A3B / 122B-A10B 日本語を含む多言語、画像理解、推論、コーディング。サイズが豊富 Apache 2.0（掲載モデルの配布版）
Google DeepMind（米国） Gemma 4 12B / 26B A4B / 31B Geminiと研究技術を共有。小型から大型まで、画像・一部音声も扱う Apache 2.0（Gemma 4）
Meta（米国） Llama 3.1 8B / Llama 3.3 70B / Llama 4 Scout 公開モデルの普及を牽引。軽量モデルから大型マルチモーダルまで Llama Community License（独自条件）
DeepSeek（中国） DeepSeek-R1 Distill 7B / 32B、DeepSeek-V3.2 推論・数学・コーディング。R1の蒸留版は小型PCにも対応 R1やV3.2はMIT。ただし蒸留版の元モデルにも注意
Mistral AI（フランス） Mistral Small 3.2 24B / Small 4 119B 指示追従、推論、コード、画像理解。24Bは中規模PCでも検討可能 掲載モデルはApache 2.0
Microsoft（米国） Phi-4-mini 3.8B / Phi-4 小型モデル（SLM）を重視。計算資源が限られた機器での処理 Phi-4-miniはMIT

※ライセンスはモデル系列全体ではなく、具体的な配布バージョンごとに確認してください。特に、派生モデル・再量子化版・ファインチューニング版には別の条件が付く場合があります。

OpenAIのgpt-oss

OpenAIは2025年8月に、オープンウェイトの推論モデル「gpt-oss」を公開しました。公式の紹介では、モデルの重みと実行方法が案内されています。

  • gpt-oss-20b：約210億パラメーター、そのうち約36億を活性化するMoEモデル。OpenAIは16GBのメモリでも実行可能と案内しています。Ollama配布版は約14GBです。
  • gpt-oss-120b：約1170億パラメーター、そのうち約51億を活性化。単一の80GB GPUで動くように設計され、Ollama配布版は約65GBです。
  • どちらも、文章による推論、ツール利用、構造化出力などを想定したモデルです。重みはApache 2.0の下で公開され、gpt-oss使用ポリシーも確認が必要です。

gpt-ossはChatGPTのWebサービスに組み込まれているモデルとは別で、利用者がダウンロードして動かします。ChatGPTの機能や回答品質がそのまま使えるわけではありません。詳しくはOpenAIの公式ヘルプを参照してください。

QwenとGemma

Alibabaが開発するQwenには、4B・9Bの小型モデル、27B、MoE方式の35B-A3Bや122B-A10Bなどがあります。同じQwen3.5系列を使い、メモリ容量による選択肢の違いを調べられます。日本語の文章生成や社内資料の処理に使う場合も、実際の資料で精度を確認する必要があります。

Google DeepMindが公開しているGemma 4には12B・26B A4B・31Bなどがあります。クラウドサービスのGeminiとは別に、ローカルで利用できます。Gemma 4のライセンスはApache 2.0で、旧世代のGemmaとは条件が異なります。

Llama、DeepSeek、Mistral、Phi

MetaのLlamaは公開モデルとして広く利用されています。16GBクラスではLlama 3.1 8BやLlama 3.2 3B、大型の構成では約109BパラメーターのLlama 4 Scoutも候補になります。LlamaはApache 2.0ではなく独自のCommunity Licenseで配布されています。Llama 4には再配布時の表示義務があり、非常に大規模なサービス事業者には追加条件もあります。

中国のDeepSeekはR1やV3.2を公開しています。R1で生成したデータなどを使って小型モデルを学習させた「Distill（蒸留）」シリーズもあります。Ollamaの配布版では7Bが約4.7GB、32Bが約20GBです。7Bは16GB、32Bは64GBの構成で試せます。蒸留版を使う際は、元になったQwenやLlamaのライセンスも確認します。

フランスのMistral AIも公開モデルを提供しています。24BのMistral Small 3.2はOllama版が約15GBで、64GBの構成で試せます。119BのSmall 4は、推論時に一部のパラメーターだけを使うMoEモデルです。ライセンスはモデルごとに確認が必要です。

MicrosoftのPhiは、小型言語モデル（SLM）のシリーズです。Phi-4-mini-instructは約3.8BでMITライセンス。文書の分類や項目抽出、デバイス内での処理などに使う候補です。

メモリ容量ごとのモデル候補

利用可能なメモリ まず試したいモデル 主な用途 選び方のポイント
16GB Qwen3.5 4B / 9B、gpt-oss 20B、Phi-4-mini 個人のチャット、要約、簡易的な分類・抽出 4bit級を優先。gpt-oss 20Bは16GBで動作可能だが、OSやKVキャッシュの余裕に注意
64GB Qwen3.5 35B-A3B / 27B、gpt-oss 20B 社内文書検索、開発支援、比較的複雑な文章処理 35B-A3Bは生成速度、27Bは高密度モデル。gpt-ossとも用途別に比較
128GB Qwen3.5 122B-A10B / gpt-oss 120B 大型モデルの評価、長い入力、より大きな推論環境 大容量モデルが候補に入るが、高速化にはGPU性能も重要

ここでの16GB・64GB・128GBはマシン全体のメモリ容量です。Apple Siliconのユニファイドメモリと、一般的なPCのシステムRAM・GPU専用VRAMは使い方が異なります。速度表には機種と推論エンジンを併記しました。

モデルのファイルサイズと実行時メモリ

学習済みの重みの精度を下げる処理を「量子化」と呼びます。たとえば16bitの重みを4bitにすると、重み部分のデータ量を減らせます。ただし、量子化方式によって回答品質や処理速度が変わります。

次の表はOllamaの配布ページを中心に調べたモデルのダウンロードサイズです。おおむね4bit級の配布版を記載しています。実行中のRAM・VRAM使用量とは異なります。

モデル 公開されているモデル容量の目安 主な構造 メモリ構成の目安
Phi-4-mini 3.8B 配布形式で異なる Dense（高密度） 16GB
DeepSeek-R1 Distill 7B 約4.7GB Dense 16GB
Qwen3.5 4B 3.3～4.0GB Dense（高密度） 16GB
Qwen3.5 9B 6.6～7.6GB Dense 16GB
Gemma 4 12B 7.7～8.0GB Dense 16GB（余裕を確認）
gpt-oss 20B 約14GB MoE 16GBでも可能。64GBなら余裕を取りやすい
Mistral Small 3.2 24B 約15GB Dense 64GB
DeepSeek-R1 Distill 32B 約20GB Dense 64GB
Qwen3.5 27B 17～20GB Dense 64GB
Gemma 4 26B 16～19GB MoE 64GB
Qwen3.5 35B-A3B 約22GB MoE（約3Bが活性化） 64GB
Gemma 4 31B 19～20GB Dense 64GB
gpt-oss 120B 約65GB MoE 128GB
Qwen3.5 122B-A10B 約81GB MoE（約10Bが活性化） 128GB

たとえばモデルのファイルサイズが22GBでも、24GBのPCで確実に動くとは限りません。実行時は重みのほかに、入力内容を保持するKVキャッシュ、演算用の作業領域、画像入力用のデータが必要です。OSやほかのアプリもメモリを使います。入力する文章が長くなったり、同時利用者が増えたりすると必要量が増えます。

OpenAIはgpt-oss 20Bが16GBのメモリで動作すると案内しています。Ollama版のダウンロードサイズは約14GBなので、16GBのPCではOSやKVキャッシュに使える余裕が限られます。長い会話やほかのアプリとの併用を含めて、動作確認が必要です。

公開ベンチマークの生成速度（tok/s）

文章の生成速度は、1秒間に出力するトークン数（tok/s）で表します。20 tok/sなら、生成が始まってから200トークン出力するまで約10秒です。日本語の1文字が1トークンになるわけではありません。また、回答を始める前に入力文を処理する時間は別です。

以下は外部で公開された実測値であり、当社の計測結果ではありません。メモリ容量だけでなく、GPU、量子化方式、実行ソフト、入力文の長さも異なるため、測定条件を併記しています。

マシン構成 対象モデル 生成速度（tok/s） 測定条件
16GB / Apple M4（GPU 8コア） Qwen3.5 9B 21.3 oMLX、4bit、1Kコンテキスト
16GB / Apple M4（GPU 10コア） OpenAI gpt-oss 20B 45.2 oMLX、4bit、1Kコンテキスト。ピーク10.2GB
16GB / Apple M4（GPU 8コア） Qwen3.5 9B 19.8 oMLX、4bit、8Kコンテキスト
64GB / Apple M4 Pro（GPU 20コア） Qwen3.5 9B 38.5 MLX、int4、入力256・出力100トークン
64GB / 同上 Qwen3.5 27B 11.8 MLX、int4、同条件
64GB / 同上 Qwen3.5 35B-A3B 25.6 MLX、int4、同条件
64GB / Apple M4 Pro（GPU 20コア） OpenAI gpt-oss 20B 93.1 oMLX、4bit、1Kコンテキスト。ピーク11.5GB
128GB / Apple M5 Max（GPU 40コア） Qwen3.5 9B 75.9 llama.cpp、Q4_K_M、出力512トークン
128GB / 同上 Qwen3.5 35B-A3B 94.1 llama.cpp、Q4_K_M、同条件
128GB / 同上 Qwen3.5 122B-A10B 42.9 llama.cpp、Q4_K_M、同条件
128GB / Apple M5 Max（GPU 40コア） OpenAI gpt-oss 120B 85.0 oMLX、4bit、1Kコンテキスト。ピーク59.4GB

出典：

この表は、メモリを16GBから64GB、128GBへ増やした場合の速度変化を測ったものではありません。GPUや推論エンジンが異なるためです。また、tok/sは文章の生成速度であり、回答の正確さを示しません。数字は、それぞれの機種とモデルの組み合わせで報告されている速度として読んでください。

16GBなら4B～9Bが使いやすい

16GBのノートPCや小型PCでは、Qwen3.5 4Bまたは9Bの4bit版から試せます。OpenAIのgpt-oss 20Bも候補です。Apple M4・16GBの公開ベンチマークでは、gpt-oss 20Bが1K入力で45.2 tok/sでした。ただし、モデルごとに使用メモリや思考に使うトークン数、実行エンジンの最適化が異なるため、実際の用途で精度と速度を確認します。

4Bは短い要約、文書の分類、JSON形式での項目抽出などに使えます。9Bは日本語の文章生成や、簡単なプログラミング補助まで試す候補になります。Gemma 4 12Bも比較対象です。

M4・16GBでのQwen3.5 9Bの実測値は、入力1Kで21.3 tok/s、8Kで19.8 tok/s、32Kで14.0 tok/sでした。入力が長くなるほど、生成速度は下がっています。

CPUだけで動かす場合は、同じ16GBでも生成速度が大きく下がる可能性があります。

64GBでは27Bと35B-A3Bを比較

64GBクラスでは、Qwen3.5 27B（Dense）と35B-A3B（MoE）を比べられます。推論やツール呼び出しを伴う処理にはgpt-oss 20Bも候補です。社内文書の要約、RAG（検索した文書を参照して答える方式）、コード生成などで、同じ質問を与えて結果を確認します。

Denseモデルは基本的にすべてのパラメーターを使って計算します。MoE（Mixture of Experts）は、トークンごとに一部のパラメーターだけを使います。Qwen3.5 35B-A3Bは総数が約35Bですが、各トークンで計算に使うのは約3Bです。

M4 Pro・64GBの公開実測値は、27Bが11.8 tok/s、35B-A3Bが25.6 tok/sです。この条件ではパラメーター総数が多い35B-A3Bの方が速く生成しています。ただし、MoEの方がすべての用途で正確とは限りません。業務で使う資料を入力し、回答内容や出力形式を確認する必要があります。

35B-A3Bの4bitモデルは約22GBで、64GB未満の環境でも動かせる場合があります。64GBあれば、長い入力や複数モデルの利用、ほかのアプリとの併用に使えるメモリを確保しやすくなります。

128GBでは120B級も動かせる

128GBのユニファイドメモリを搭載したマシンでは、Qwen3.5 122B-A10Bやgpt-oss 120Bも候補になります。Ollama版のダウンロードサイズは、それぞれ約81GBと約65GBです。

M5 Max・128GBでのgpt-oss 120Bの公開実測値は、oMLXを使った1K入力で85.0 tok/sです。次のQwenとは推論エンジンが違うため、この数字だけで両モデルの処理性能は比較できません。

同じM5 Max・128GBで、llama.cppを使ったQwen3.5 122B-A10Bの実測値は42.9 tok/sです。同条件のQwen3.5 35B-A3Bは94.1 tok/sでした。120B級を実行できるマシンでも、小型モデルの方が生成速度は高い場合があります。

長い文章を入力したり、複数人が同時に利用したりすると、128GBでもGPUに割り当てられるメモリが足りなくなる場合があります。特にシステムRAMが128GBでもGPU専用VRAMが8GBのPCは、128GBのユニファイドメモリを持つApple Silicon機とは条件が違います。

モデルを大型化しても、すべての用途で回答品質が上がるとは限りません。たとえば社内規程の検索では、35B級のモデルとRAGを組み合わせる方が、応答時間や運用負担を抑えられる場合があります。

生成速度以外に見る指標

1. 入力処理速度（prefill、prompt eval）

社内文書を大量に入力する場合は、回答の生成速度だけでなく入力処理速度も測ります。M5 Max・128GBの公開ベンチマークでは、llama.cpp・4bitのQwen3.5 122Bで、1K入力時が815 tok/s、16K入力時が722 tok/sでした。これは回答の生成速度とは別です。

2. 最初の1トークンまでの時間（TTFT）

TTFTは、リクエストを送ってから最初のトークンが出るまでの時間です。64GBのMLXベンチマークでは、4K入力時にQwen3.5 27Bが約36.6秒、35B-A3Bが約5.5秒でした。この測定と上の速度表では入力条件が違うため、数値を単純に組み合わせることはできません。

3. 最大コンテキスト長とピークメモリ

モデルが256Kトークンまでの入力に対応していても、16GBのPCでその長さを無理なく扱えるとは限りません。実行時のメモリ消費と処理時間は、モデル、推論エンジン、量子化方式、入力の長さによって変わります。長い社内マニュアルを参照する用途では、全文を入力する代わりに、RAGで検索した関連部分を渡す方法もあります。

Ollamaで生成速度を測る

自分のPCの生成速度を調べるには、Ollamaでモデルを実行し、同じ質問を使って計測します。

ollama run qwen3.5:9b

別のターミナルからAPIを呼び出すと、生成速度と入力処理速度を取得できます。以下の例ではjqを使います。

curl -s http://localhost:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.5:9b",
    "prompt": "日本語で、社内マニュアル検索にRAGを使う利点を説明してください。",
    "stream": false,
    "options": {
      "temperature": 0,
      "num_ctx": 8192,
      "num_predict": 256
    }
  }' | jq '{
    generated_tokens: .eval_count,
    generation_tok_per_sec: (.eval_count * 1000000000 / .eval_duration),
    prompt_tok_per_sec: (.prompt_eval_count * 1000000000 / .prompt_eval_duration)
  }'

Ollama APIが返すeval_durationとprompt_eval_durationの単位はナノ秒です。測定するときは、GPUへのロード状況（ollama ps）、推論・思考モード、コンテキスト長、同時リクエスト数を記録します。初回ロードやキャッシュによる差を減らすため、複数回測って中央値を使います。

モデルを選ぶときの確認事項

  • 16GB：Qwen3.5 4B・9B級、Phi-4-mini、DeepSeek-R1 Distill 7Bから始める。gpt-oss 20Bも候補だが、余裕を確認する。
  • 64GB：Qwen3.5の27B Denseと35B-A3B MoE、gpt-oss 20B、Mistral Small 3.2などを業務データで比較する。
  • 128GB：gpt-oss 120BやQwen3.5 122B級に選択肢が広がる。ただし、大きなモデルが常に必要とは限らない。

モデルが起動するだけでは、業務に使えるかどうかは分かりません。モデルのファイルサイズと実行時メモリ、生成速度、入力処理速度を調べ、実際の業務データで回答の正確さを確認します。

ブンブンデジタルテクノロジーでは、社内データの取り扱いや利用人数に合わせたローカルAIサーバーのレンタル・導入支援を行っています。

調査日：2026年10月28日。モデル容量・機能・配布形式は更新されるため、導入時は各モデルの公式配布ページと利用ライセンスを再確認してください。実測値は記載した外部公開ベンチマークによるもので、当社が同じ機材で再計測した値ではありません。