ローカルLLMとは、モデルのデータを自分のPCや社内サーバーに置き、その機器上で推論を実行する大規模言語モデルの利用形態です。
クラウド型サービスとは異なり、通信できない環境でも使える構成を選べ、入力データの保存先や処理経路を管理しやすくなります。一方、モデルの取得、更新、動作速度、安全な運用は利用者側で確かめる必要があります。
モデル名だけで選ぶと、ダウンロード後に「メモリへ収まらない」「日本語は動くが業務品質に届かない」と気づきがちです。本記事では、元の記事で扱っていたモデル群を比較例にしながら、世代が変わっても使える選定手順を説明します。
最初に押さえたい四つの用語
- パラメータ数
- モデルが学習した重みの規模です。8BのBはbillion（10億）を表します。規模が大きいほど常に用途へ合うとは限らず、必要メモリと処理時間も含めて判断します。
- 量子化
- モデルの重みを低いビット数で表し、ファイル容量や必要メモリを抑える方法です。4bit版はローカル実行でよく使われますが、形式や実行環境によって品質と速度が変わります。
- VRAM
- GPUが使う専用メモリです。モデル本体だけでなく、入力文を処理するための領域も必要になるため、モデルファイルと同じ容量があれば十分とは限りません。
- コンテキスト長
- 一度に参照できる入力と出力の範囲です。設定を長くすると長文を扱いやすくなる一方、必要メモリと処理時間が増えます。
代表的なモデル群をどう比べるか
以下は、2025年前後にローカル利用の候補として挙げられたモデル群です。現在の「最新モデル」を断定する一覧ではありません。配布状況、ライセンス、対応言語、推奨ランタイムは更新されるため、導入時点の公式モデルカードも確認してください。
| モデル群 | 記事内の主な規模 | 候補にしやすい用途 | 確認したい点 |
|---|---|---|---|
| Llama 3.1 | 8B、70B、405B | 一般的な対話、多言語の文章作成、軽いコード支援 | 利用する量子化版、実行環境での日本語品質、必要なコンテキスト長 |
| Qwen2.5 | 7B、14B、32Bなど | 多言語の対話、コード、数学 | 汎用版、Coder版、Math版のどれが目的に合うか |
| Gemma 2 | 2B、9B、27B | 文章生成、要約、質問応答 | 英語中心のモデル特性を踏まえた日本語での実測 |
| Phi-4 mini系 | 約3.8B | 軽量な対話、数学やコードの試行 | CPU実行時の待ち時間と、対象業務での回答品質 |
| Mistral、Mixtral、NeMo系 | モデルにより異なる | 多言語、コード、サーバー運用 | Dense型とMoE型を混同せず、実際に読み込む重みと必要メモリを確認する |
同じモデル名でも、ベースモデルと指示調整済みモデルでは使い勝手が違います。対話や文書作成なら、まず指示調整済みモデルを候補にすると比較しやすくなります。
PCスペックから候補を絞る
必要なメモリは、パラメータ数だけでは決まりません。量子化方式、コンテキスト長、同時処理数、CPUへ処理を逃がす設定によって変わります。次の表は購入条件ではなく、試すモデルの規模を決めるための出発点です。
| 環境 | 最初の候補 | 使い方の目安 | 注意点 |
|---|---|---|---|
| 専用GPUなし、メモリ16GB前後 | 3Bから4B級の量子化モデル | 短い対話、要約、学習用途から試す | 7B級も動く場合はあるが、速度と発熱を実測する |
| VRAM 8GBから12GB、メモリ32GB前後 | 7Bから9B級の4bit量子化モデル | 日常的な文書作成、コード支援、個人用の検索補助 | 長いコンテキストを設定すると余裕が減る |
| VRAM 16GBから24GB、メモリ64GB前後 | 14Bから27B級の量子化モデル | 品質を重視した対話、重めのコード支援、複数候補の比較 | モデルを複数同時に置く場合は、それぞれの常駐メモリを確認する |
| 大容量GPUまたは複数GPUのサーバー | 70B級を含む大規模モデル | 複数利用者への提供、評価、研究開発 | 推論だけでなく、同時接続、監視、電力、保守の設計が必要 |
「起動できる」と「実務で快適に使える」は別です。候補を読み込めても、最初の回答が出るまでの時間や文章の生成速度が用途に合わなければ、モデルを小さくする、コンテキスト長を短くする、GPUの利用方法を見直すといった調整が必要です。
GPUがないPCから始める場合
最初から大きなモデルを選ばず、3Bから4B級の量子化モデルで、短い入力を使って操作と出力の傾向を確かめます。品質が足りないと判断した時点で7B級へ広げれば、待ち時間だけが長い検証を避けやすくなります。
ベンチマークの数字を用途へ翻訳する
ベンチマークはモデルを絞る材料ですが、自社の文書やコードに対する品質を保証する数字ではありません。評価条件やプロンプトが異なる結果を、そのまま横並びにしないことが大切です。
- MMLU：幅広い学術分野の選択式問題を使い、知識と問題解決を測ります。
- GSM8K、MATH：算数や数学の文章問題を使い、数的推論を測ります。
- HumanEval、MBPP：指定された処理を満たすコードを生成できるかを測ります。
- GPQA：専門性の高い科学分野の問題を使い、難しい推論を測ります。
- MT-Bench：複数ターンの対話や指示への応答を評価します。
数値が高いモデルでも、日本語の社内用語、出力形式、禁止事項を守れるとは限りません。公開ベンチマークは一次選考に使い、最終判断は実際の入力例で行います。
用途別に見るモデル選び
日常の対話と文書作成
7Bから9B級の量子化モデルを基準にし、日本語の自然さ、要約で落としてはいけない情報、指定した構成を守れるかを比べます。GPUがない場合は小型モデルから始め、品質が不足する仕事だけを大きいモデルへ回す方法もあります。
プログラミング支援
汎用モデルとコード向けモデルへ同じ課題を与え、正しさ、修正理由、既存コードへの影響を比べます。モデル候補を広げたい場合は、コーディング向けLLMの比較ポイントも参照できます。
数学と推論
Math版やreasoning版を候補にし、答えだけでなく途中の条件、計算、前提の扱いを確認します。ベンチマークの順位より、利用者が誤りを見つけられる形で出力できるかを優先します。
社内文書を使う質問応答
モデルの大きさだけでなく、検索で取り出した文書を正しく参照できるか、根拠のない補完をしないかを試します。機密情報を扱う場合は、モデル本体だけでなく、連携機能、ログ、バックアップを含むデータの流れも確認します。
購入や本格導入の前に行う評価手順
- 手元の環境を確認する
OS、搭載メモリ、GPU名、VRAM、空きストレージを記録します。 - 用途を一つに絞る
「文章生成」ではなく、「問い合わせ文を200字以内で要約する」のように入力と合格条件を決めます。 - 二つか三つの候補を同じ条件で試す
同じ量子化の水準、同じコンテキスト長、同じ入力で比較します。 - 品質と速度を分けて記録する
正確さ、日本語、指示順守、最初の応答までの時間、生成速度、使用メモリを記録します。 - 長文と失敗例を試す
通常の入力だけでなく、長い資料、曖昧な依頼、答えが資料にない質問も与えます。 - 運用条件を決める
利用者、入力してよい情報、出力を確認する責任者、更新方法、ログの保存期間を定めます。業務へ広げる際は、生成AIを業務に入れる前に決めるべきことも確認してください。
この手順なら、モデルの世代が変わっても「自分のPCで動くか」「自分の仕事を任せられるか」を同じ基準で判断できます。
ローカルLLM選びの結論
- GPUがなければ、3Bから4B級の量子化モデルで操作と速度を確認する。
- VRAM 8GBから12GBなら、7Bから9B級を最初の比較対象にする。
- コードや数学には、汎用モデルだけでなく用途特化版も同じ課題で試す。
- ベンチマーク順位ではなく、実際の入力に対する品質、速度、メモリ、運用条件で決める。
ローカル実行は、データの扱いと費用を管理しやすくする選択肢です。ただし、モデルをPCへ置くだけで業務利用の準備が終わるわけではありません。小さく試し、失敗例を記録し、合格条件を満たした用途から広げることが安全な進め方です。
この記事に関連する株式会社greedenの取り組み
ローカルLLMは、機種名だけでなく業務と検証基準を決めてから選ぶことが成果への近道です。株式会社greedenは、生成AI勉強会を通じて、現場が比較、試行、運用判断を進めるための共通理解づくりを支援しています。