Gemma 4 12Bを、VRAM6GBと8GBのノートPCで動かしてみた

結論から書きます。

ローカルAIの価値は、速さではありません。そして、その速さは、PCのグラフィックボードのメモリ（VRAM）にかなり左右されます。
今回、我が家にある2台のノートPC ― 私のVRAM 6GBと、妻のVRAM 8GB  で同じGemma 4 12Bを動かしてみたところ、体感がはっきり変わりました。

先に、要点だけ書いておきます。

・一番速かった8GBの12Bでも、クラウドのAIと比べると遅い。
・6GBの12Bは、もっと遅い。長文だと9分以上待つこともありました。
・6GBで日常的に使うなら、軽いE4Bの方が現実的。
　ただし、画像は動きませんでした。
・それでも、データを外に出さずに使えるという価値は、速さとは別のところにあります。

先日、Gemmaの軽量版（QAT）が公開されたという速報の最後に、「私も試します」と書きました。今回はその回収です。GoogleはこのQAT版の速度や品質の数字を出していないので、以下は誰かの受け売りではなく、私が手元で測った数字です。

1｜なぜ、わざわざローカルで動かすのか

ChatGPTやGeminiが手軽に使える今、なぜ自分のPCでAIを動かすのか。理由は、大きく三つあります。

1つ目は、プライバシーです。
推論（AIとのやり取り）が自分のPCの中で完結するので、入力したテキストや写真、仕事の書類が外部サーバーに送られません。
規約や情報漏洩を気にせず、閉じた環境でデータを投げられる。これは、クラウドにはない安心感です。
（厳密には、モデルのダウンロードや更新のときは通信します。「推論が外に出ない」が正確な言い方です。）

2つ目は、オフラインでも動くこと。
ネットが遅くても、APIが落ちていても、圏外でも、PCの電源さえ入っていれば同じように動きます。

3つ目は、月額のサブスクが要らないこと。
ChatGPT PlusやClaude Proのような料金は不要で、ランニングコストはほぼ電気代だけです。ただし、動かすPCそのものは必要です。そして、その「PCのパワー」が、今回の主役になります。

2｜ローカルには「等価交換」がある

ローカルAIは魅力的ですが、避けられないルールがひとつあります。手元のマシンのパワー、特にVRAMが、そのままAIの「天井」になることです。

クラウドAIなら、スマホでも古いPCでも、サーバー側が高性能なので一瞬で返ってきます。データを預けて月額を払う代わりに、速さは端末に依存しません。ローカルはその逆で、データを預けず月額も要らない代わりに、VRAMが6GBか8GBかで快適さが大きく変わります。

この壁がどこにあるのかを、自分の目で見たかった。だから、ちょうどVRAMの境目をまたぐ夫婦の2台で測ることにしました。

3｜検証した環境

項目 私のPC 妻のPC GPU RTX 3060 Laptop RTX 4060 Laptop VRAM 6 GB 8 GB メインメモリ 32 GB 32 GB

ツールはLM Studio、モデルは公式のQAT版（Q4_0）で揃えました。比べられるように、2サイズを用意しています。話題の中型「12B」（6月に追加された新しいサイズ。約7GB）と、4月から出ている小型の「E4B」（約5GB）です。

12BはQ4_0でも約7GBなので、6GBには丸ごと載りきりません。あふれた分はメインメモリに逃がして動かすことになります。これが速度にどう響くかが、見どころでした。

なお、今回は条件を揃えるため、全部の質問で「思考モード」をオンにしています。思考モードは答える前に長めに考えるぶん、待ち時間は長めに出ます。普段のサッとしたチャットより遅めの数字だと思って読んでください。

4｜試した3つの質問

3つの質問を、3条件すべてに同じ文面で投げました。
①短い質問（メリット・デメリットを3つずつ）
②長い質問（5年後のクリエイター論を2,000字で）
③て画像（横浜・みなとみらいを写した写真を1枚読ませる）
測ったのは、1秒あたりに生成された文字数（tok/s）と、体感でした。

5｜結果

体感は、ChatGPTやClaude、Geminiと比べたときの印象です。実行時間は、生成された文字数をtok/sで割って出した目安です（最初の応答が始まるまでの待ち時間は含みません）。

まず、同じ6GBでE4Bと12Bを比べると、サイズの差が見えます。
E4B（約10 tok/s）は、12B（約3.8 tok/s）よりおよそ2.6倍速く、短文なら20秒ほどで返ってきて軽快でした。

ところが、E4Bは画像の質問だけ「実行不可」でした。面白いのは、より大きい12Bは同じ6GBで画像を処理できたこと。
つまりこれはVRAM不足というより、E4Bの量子化版か、ツール側の画像対応の問題のようです（理由は要確認）。
E4Bで画像を使いたい人は、ここは先に確かめた方がよさそうです。

次に、同じ12Bで6GBと8GBを比べると、差はもっとはっきりします。
8GBでは約16 tok/sで最後まで安定して流れたのに対し、6GBでは約3.8 tok/s。4倍以上、遅くなりました。

時間に直すと、もっと生々しいです。
長文の生成は、8GBで約2分、6GBではおよそ9分半。
「簡潔に3つ」と頼んだ短文ですら、6GBの12Bは思考を含めて3分以上かかりました。
VRAMからあふれた12Bは、まさに「滅茶苦茶遅い」状態です。

ひとつ、正直に断っておきます。
この差は、純粋なVRAMだけの差ではありません。
8GB機はRTX 4060（新しい世代）、6GB機はRTX 3060（古い世代）で、世代の差も混ざっています。影響がどこまであるかわかりませんが、CPUも2世代差があります。
この2台では、それらをきれいに切り分けることはできません。
それでも、「VRAMが足りないと、12Bはあふれて極端に遅くなる」という傾向は、はっきり出ました。

6｜速度の、正直な話

今回いちばんお伝えしたいのは、ここです。

一番速かった8GBの12Bでさえ、クラウドのAIに慣れた指には「遅い」と感じました。
思考モードという条件もありますが、それを差し引いても、ローカルAIは、ゲーミングノートでもクラウドの速さには届きません。

これは欠点というより、ローカルAIの素の姿だと思います。
速さを期待して始めると、たぶんがっかりします。
逆に、「速さは妥協する。その代わり、データを外に出さない」と割り切れる人には、十分に意味がある。
価値の置きどころが、クラウドとはそもそも違うのです。

7｜中身の質は、どうだったか

速さとは別に、出てくる中身も見ました。

文章は、想像以上に良かったです。
長文の分析は、3条件のどれも構成が整っていて、日本語も自然でした。
無料のローカルモデルでここまで書けるのか、と素直に思いました。

ただし、画像の「場所の特定」は当てになりません。
観覧車や運河、遊園地、高層ビルといった「写っている要素」と「雰囲気」は的確に拾いました。けれど、8GB機は横浜・みなとみらいの写真を「お台場」と誤り、観覧車の名前も崩れていました。実在しない名称が、自信ありげに出てきたのです。

シーンの描写には使えるけれど、場所やランドマークの特定は信用しない。これが正直なところです。AIが断言しても、それが事実かどうかは別、というのは、クラウドでもローカルでも変わりません。

8｜今のところの結論

今回の夫婦PC検証から、現時点の結論をまとめます。

ローカルAIの価値は、速さではなく「データを外に出さない・月額が要らない・オフラインで動く」ことにあります。
ここに惹かれないなら、素直にクラウドの方が速くて快適です。

12Bを日常的に使うなら、VRAM 8GBが現実的なスタートライン。
それでもクラウドより遅い、という前提込みで。
6GBなら、日常のテキスト処理は軽いE4Bが無難で、12Bは「賢いけれど、待つ覚悟が要る」存在でした。
画像を使いたいなら、今回の範囲では8GB＋12Bの組み合わせが安心です。これからローカル用途でノートPCを選ぶなら、最低でもVRAM 8GB、できればそれ以上を見ておくとよさそうです。

試してみて、改めて思ったことがあります。
ローカルAIは、クラウドより速くなる道具ではありません。「人に預けない」「縛られない」を選ぶための道具です。
だから、速さがほしい日はクラウドを使えばいい。外に出したくないものを扱う日は、これでいい。どちらが上ということではなく、使い分けの判断軸が、ひとつ増えました。今回の検証で得たのは、その感覚でした。

（6GBでも少しでも快適に動かす設定の工夫や、用途ごとのモデル選びについては、近いうちに別であらためて書く予定です。）