Qwen3.8 27B / MuseGlimmer / Gemma4 推論速度（Tokens/s）とVRAM使用量 実測レポート

この記事では実際にLM Studioで計測した
モデル別・コンテキスト別・KVキャッシュ量子化別のVRAM消費量と生成速度を早見表にしました。

VRAM 16GB / 24GB / 32GB / 48GBをお持ちの方のモデル選定にそのまま使えます。

AI入門小説と連動した用語解説とGemma 4シリーズ(12B/26B A4B/31B)におけるコンテキスト8Kの【実測値の表】を確認頂けます。

RTX PRO 4500 (Blackwell)を用いたGemma4 26B A4B / Qwen3.8 27B / MuseGlimmer 30B / Gemma4 31Bをコンテキスト128K/256K・KVキャッシュF16/Q8_0の実測値をクイックに確認するためのレポートになっています。

検証環境

OS：Windows 11 Pro 25H2 64bit （26200.9168）
CPU：Intel Core Ultra 7 265KF
RAM：64GB DDR5-5600
GPU：NVIDIA RTX PRO 4500 Blackwell 32GB x 2 / Driver 596.86
ストレージ：NVMe Gen5 1TB
LM Studio：v0.4.21

この表の見方

• VRAM消費量：モデルロード時のピークVRAM。LM Studioでの実測値nvidia-smiコマンドのMemory-Usage欄から取得

• 生成速度：tokens/s。同一環境・同一プロンプトでの目安値

• 量子化設定：Kキャッシュ / VキャッシュをF16（無圧縮）とQ8_0に設定

• 判定：VRAM 余裕あり◯ / 限界△ / 推奨外×

環境差により±5%程度変動があるかと思います。

KVキャッシュ量子化とは

LM Studioではモデルごとに Kキャッシュ量子化 と Vキャッシュ量子化 を設定できます。

メリット：VRAM消費量の削減
デメリット：生成速度が若干低下（1％～15％）

特にコンテキストが長いモデルで効果が大きいです。
LM StudioはOllamaと違いモデル毎に設定が保存されるので、用途別に使い分け可能です。

コンテキスト長とは

AIが会話を忘れないための「短期記憶」の長さです。
長くするほど覚えられる量が増えますが、VRAMもその分増えます。
日本語を扱うと英語に比べて、コンテキスト長は多く消費されます。

コンテキストサイズ別の利用用途

8K〜16K／ソースコード300〜600行＋コメント

• チャットでのちょっとしたアイデア出しや文章添削

• プログラミングでは1つの関数の修正など短いコード

• 軽快に動く。メモリが少ない低スペックPCでも安定

32K〜64K／小〜中規模リポジトリのコード全体（数ファイル分）

• 論文やレポート数ページ分をまとめて読み込む

• 数ファイルまとめてのコード解析

• 実用的でVRAMもそこまで重くない

128K／中規模プロジェクトのコードベース全体＋ログ

• 技術書1冊分を丸ごと覚えさせる

• 検索なしで大量資料を元に回答

• 多くのモデルで現実的な上限

256K以上／半年分の作業ログ・チャット履歴全部

• プロジェクト全体のコードを一気に扱う

• ログや長い履歴を全部覚えさせる

• 高性能GPUや大容量メモリ必須。重い

モデル別 VRAM消費と生成速度早見表

前提：

•  表のVRAM消費量は、OS＋アプリで1.5GB固定としていますので、環境により変わります。

• Qwen3.8 27Bは、MTP機能のON／OFFにより大きく差がでましたので、２行に分けています。

Gemma4シリーズ

コンテキスト長8Kで、チャット利用を想定。
KVキャッシュ量子化別のVRAM消費・生成速度の一覧
VRAM16GBでは12B QATで量子化設定なしが最適
※24GBで全て許容範囲のため、32GB、46GBは除外

Gemma4 12B

• F16 : VRAM 約7.98GB / 86.75 tokens/s

• Q8_0 : VRAM 約7.69GB / 79.48 tokens/s

Gemma4 26B A4B

• F16 : VRAM 約15.86GB / 151.15tokens/s

• Q8_0 : VRAM 約15.65GB / 132.91tokens/s

Gemma4 31B

• F16 : VRAM 約20.39GB / 40.65 tokens/s

• Q8_0 : VRAM 約19.53GB / 38.53 tokens/s

26B～31Bクラス コンテキスト128K比較

コンテキストを伸ばした際のVRAM増分と量子化効果を確認できます。
モデル別KVキャッシュ量子化によるVRAM消費効果と生成速度を比較できます。

対象モデル:Gemma4 26B A4B / Qwen3.8 27B / MuseGlimmer 30B / Gemma4 31B
コンテキスト128K/256K・KVキャッシュF16/Q8_0で比較

Qwen3.8 27Bが24GBに入る方法を記載

Gemma4 26B A4B

• F16 : VRAM 約19.89GB / 153.45 tokens/s

• Q8_0 : VRAM 約19.02GB / 135.42 tokens/s

Gemma4 31B

• F16 : VRAM 約31.52GB / 40.50 tokens/s

• Q8_0 : VRAM 約27.19GB / 38.56 tokens/s

Qwen3.8 27B MTP_ON

• F16 : VRAM 約27.87GB / 41.19 tokens/s

• Q8_0 : VRAM 約24.50GB / 38.48 tokens/s

Qwen3.8 27B MTP_OFF

• F16 : VRAM 約26.59GB / 43.05 tokens/s

• Q8_0 : VRAM 約23.23GB / 42.47 tokens/s

MuseGlimmer 30B

• F16 : VRAM 約20.69GB / 44.37 tokens/s

• Q8_0 : VRAM 約19.90GB / 42.70 tokens/s

※ VRAMはLM Studio実測値、生成速度はtokens/s

26B～31Bクラス コンテキスト256K比較

量子化ありなしでの生成速度差が分かる基本表です。

Gemma4 26B A4B

• F16 : VRAM 約19.89GB / 153.45 tokens/s

• Q8_0 : VRAM 約19.02GB / 135.42 tokens/s

Gemma4 31B

• F16 : VRAM 約31.62GB / 40.60 tokens/s

• Q8_0 : VRAM 約27.19GB / 38.56 tokens/s

Qwen3.8 27B MTP_ON

• F16 : VRAM 約27.87GB / 41.19 tokens/s

• Q8_0 : VRAM 約24.50GB / 38.48 tokens/s

Qwen3.8 27B MTP_OFF

• F16 : VRAM 約26.59GB / 43.05 tokens/s

• Q8_0 : VRAM 約23.23GB / 42.47 tokens/s

MuseGlimmer 30B

• F16 : VRAM 約20.69GB / 44.37 tokens/s

• Q8_0 : VRAM 約19.90GB / 42.70 tokens/s

※ VRAMはLM Studio実測値、生成速度はtokens/s

VRAM別おすすめ判定早見表

VRAM 16GB
推奨：Gemma4 12B QAT 32K + KVキャッシュQ8_0
限界：26B 8K + KVキャッシュQ8_0
推奨外：26B 32K以上

VRAM 24GB
推奨：128K F16 / MuseGlimmer 30B
余裕：Gemma4 12B 128K
注意：マルチエージェントで同時使用の時、 128Kは量子化必須

VRAM 32GB
推奨：26B 32K + KVキャッシュQ8_0 / Gemma4 27B 32K
余裕：Gemma4 12B 128K
注意：26B 128Kは量子化必須

VRAM 48GB以上
推奨：26B 128K + KVキャッシュQ8_0
余裕：複数モデル同時ロード可、量子化なし運用も可能

Qwen3.8 27BのMTPをOFFに変更する手順

MTPとは

MTP（Multi-Token Prediction：複数トークン予測）は、一度に複数のトークンを予測・生成することで、AIの文章生成速度を劇的に向上させる高速化技術です。

そのため、MTPはOnが良いのですが、今回の検証では逆に遅くなる結果になりました。要検証です。（2026年8月時点）
今回の記事では、LM Studioのチャット画面上の生成速度のみでの検証です。

LM StudioのMy Modelsから設定する手順

使い方のコツ

1. まずはコンテキスト長を必要最小限に設定する

2. VRAM不足時はKVキャッシュQ8_0化でメモリ削減

3. 生成速度優先なら量子化なし、メモリ優先ならQ8_0

4. LM Studioではモデルごとに設定が保存されるので、用途別にプロファイル化すると便利です

まとめ

1. まずはコンテキスト長を必要最小限に設定する

2. VRAM不足時はKVキャッシュQ8_0化でメモリ削減

3. 生成速度優先なら量子化なし、メモリ優先ならQ8_0

4. LM Studioではモデルごとに設定が保存されるので、用途別にプロファイル化すると便利です

• コンテキストが長いほどVRAMは比例的に増加

• KVキャッシュ量子化はメモリ不足解消の即効策

• VRAM16〜24GBならGemma4 12B QATがコスパ良い、24GB以上で26Bクラスが快適

この早見表を元に、あなたの環境に合ったモデルを選んでください。

関連記事：

LM Studio Windowsインストール完全ガイド｜日本語化からモデルDL・KVキャッシュ量子化まで

ローカルLLMが消費するメモリの正体についてはこちら→第3話「RAM vs VRAM vs UMA！AIを速くする正体は〇〇だった」

この記事の全体像はこちら→ローカルLLM完全ロードマップ