クラウドに出さずに、X1の中だけで"声で会話"できた ― 喋り出し1.27秒までの設計

こんにちは！YaroTechです。

昨日（Day324）、私はThinkPad X1の中だけで「声を文字にする（STT）」がどれくらい速いかを測りました。結果は、いちばん速いNPUで0.14秒。クラウドに一切出さず、X1の中だけで、ほぼ待ち時間ゼロで声が文字になりました。「聞く」の土台は、もう十分に速かったんです。

そうなると、次に確かめたいのは当然これです。その先の「考える（LLM）」と「喋る（TTS）」までつないだら、X1の中だけで"声の会話"が一往復、成立するのか。 去年の暮れ（Day262）、CocoroAIでローカルキャラと音声会話させたとき、返事まで約2分かかってがっかりした、あの宿題の回収でもあります。

今日は、昨日0.14秒で動いた「聞く」に、「考える」と「喋る」を連結します。評価の物差しは、tok/sのような一点の速さではなく、私が喋り終えてからAIが喋り出すまでの時間。会話のテンポに届くか、この一本で測りました。結論を先に言うと、最後は1.27秒で喋り出すところまで来ました。そして、その過程で見えた「遅延の正体」が、今日いちばん伝えたい話です。

相棒には、昨日に続いてWindows・Intelまわりに強いコロ（Microsoft Copilot）に来てもらいました。

※見出し画像のプロンプトは一番下におまけで公開中！

実行環境

• PC: Lenovo ThinkPad X1 Carbon Gen13

• CPU: Intel Core Ultra 7 258V（Lunar Lake）

• GPU: Intel Arc 140V（iGPU）

• NPU: Intel AI Boost（48 TOPS）

• メモリ: 32GB（LPDDR5X-8533・UMA）

• OS: Windows 11 Home 25H2

• 推論ランタイム: OpenVINO 2026.2

• STT: whisper-base（OpenVINO・fp16-ov版）/ NPU

• LLM: NexaCLI（`nexa serve`・OpenAI互換API）/ Qwen2.5-1.5B-Instruct-GGUF（Q4）

• TTS: VOICEVOX（話者=春日部つむぎ＝クロ助の声）

• NPUドライバ: 32.0.100.4512

クロ助：「今日はいよいよ、昨日の続きだっちゃ。『聞く（STT）→考える（LLM）→喋る（TTS）』の3段、昨日は最初の"聞く"だけ測ったべ。今日は残りの2つをつないで、声の会話を一周させるべさ」

コロ：「土台が0.14秒だったで、あとは"考える"と"喋る"次第だがね。全部X1の中で、クラウドには一切出さん。ここがうちらのこだわりだわ」

この記事で得られること

• クラウドに音声を一切出さず、X1の中だけで「声の会話」が一往復成立するかの実機データ

• 「考える（LLM）」と「喋る（TTS）」を連結したときに、喋り出しまで何秒かかるかの生の数字

• 同じ部品のまま設計だけを変えて、9.24秒 → 6.26秒 → 1.27秒へと喋り出しを縮めた具体的な手順

• 遅延の正体は「速いモデル」でも「高性能GPU」でもなく、"喋り出しの設計"だった、という勘どころ

実際の成果

まず、今日いちばん伝えたい数字を先に置きます。

Before（Day262・CocoroAI）: ローカルでキャラと声で会話したとき、返事まで約2分。裏で記憶処理がLLMを占有していて、体感はとにかく重かった。

After（今日・X1のローカル音声対話）: 私が喋り終えてから、AIが喋り出すまで1.27秒。クラウドに一切出さず、X1の中だけで、会話のテンポに届くところまで来ました。

ただし、この1.27秒はいきなり出た数字ではありません。最初は9.24秒もかかっていました。そこから、部品（STT・LLM・TTS）は一切替えずに、設計だけを2回変えて、9.24秒 → 6.26秒 → 1.27秒と縮めています。この「縮め方」こそが今日の本題です。

コロ：「約2分が1.27秒。昨日の0.14秒に続いて、また気持ちええ数字だがね」

クロ助：「でもね、ここに行き着くまでに、私は遠回りしたんだっちゃ。その遠回りが、いちばんの学びになったべさ」

実践内容

やったことの流れは、拍子抜けするくらいシンプルです。プログラミングが分からなくても追えるように書きます。

手順1：「考える」を準備する（ローカルLLMをAPI化）

会話の頭脳には、ローカルで動かせる軽量モデル「Qwen2.5-1.5B-Instruct」を選びました。これはDay256でX1のローカルLLMを検証したとき、49 tok/sという実用的な速さが出ていたモデルです。これを「NexaCLI」というツールの `nexa serve` で立ち上げると、OpenAI互換のAPIとして手元で呼び出せるようになります。クラウドのChatGPTを呼ぶのと同じ書き方で、中身は全部X1の中、という状態です。

手順2：「喋る」を準備する（VOICEVOX）

声を返す担当には、定番のローカル音声合成「VOICEVOX」を使いました。話者はクロ助の声に合わせて「春日部つむぎ」を指定。テキストを渡すと、X1の中だけで音声を合成して返してくれます。ここもクラウドには出しません。

手順3：3つを1本のループにつなぐ

昨日の「聞く（whisper-base @ NPU）」に、手順1の「考える」と手順2の「喋る」を連結し、自作のPython計測ハーネス（talk.py）でひとつのループにしました。マイクで録音 → STTで文字に → LLMで返答を考える → TTSで声にする、という流れを、各段にタイムスタンプを打ちながら回します。

コロ：「各段の時間を別々に測れるようにしたのが几帳面でええがね。どこが重いか、これで丸見えになるだわ」

クロ助：「そう、犯人探しができる作りにしたっちゃ。これが効いたんだべさ」

実測結果と考察

同じ部品のまま、設計だけを変えて3回測りました。出てきたのが、この3段階です。

■ 喋り出しまでの時間（私が喋り終えてからAIが喋り出すまで・短いほど速い）

  ① 初回（全文生成・モデルロード込み）   9.24秒  🔴
       STT 0.15秒 / LLM 4.88秒 / TTS 4.21秒

  ② 2回目（ロード解消・全文生成）        6.26秒  🔴
       STT 0.11秒 / LLM 0.59秒 / TTS 5.56秒

  ③ ストリーミング＋短文化              1.27秒  🟡（合格）
       STT 0.14秒 / LLM 0.57秒 / TTS 0.57秒（最初の1文）

ひとつずつ、何が起きたかを追います。

①→②：LLMの"正体"が分かった

最初の9.24秒で、いちばん重そうに見えたのはLLMの4.88秒でした。ところが2回目を測ると、LLMはいきなり0.59秒まで激減します。種明かしは単純で、初回の4.88秒にはモデルをメモリに読み込む一度きりの時間が乗っていただけ。本来のLLMの応答（27〜29トークン）は0.6秒前後で、Day256の49 tok/sという実績ともきれいに整合しました。LLMは、最初から犯人ではなかったんです。

②→③：本当の犯人はTTSの"全文待ち"だった

2回目の6.26秒を内訳で見ると、TTSが5.56秒。遅延のほとんどがここに集中していました。理由は設計にあります。最初の作りは「LLMが応答を全部作る → その全文をVOICEVOXに渡して音声を合成しきる → やっと再生」という、全部できてから喋る流れだったんです。応答が長ければ、音声も長くなり、それを全部作り終えるまで沈黙が続く。会話なのに、相手が長考してから一気に喋り出す感じです。

そこで設計を変えました。LLMの応答を句点（。）で文に区切り、最初の1文ができた瞬間に、その1文だけを合成して即再生。残りの文は、再生している裏で順番に合成していきます。さらにLLMには「1文を40字以内で」と指示して、最初の1文自体を短くしました。

これだけで、喋り出しまでのTTSは「最初の1文の0.57秒」になり、総時間は6.26秒 → 1.27秒へ。部品は何ひとつ替えていません。変えたのは「いつ喋り始めるか」の設計だけです。

実際の会話はこんな具合でした。私が「こんばんは、自己紹介をしてください」と話しかけると、STTがそれを認識し、LLMが「こんにちは！日本語が好きで、質問や相手に声を掛けています。何かお手伝いできることがありますか？」と返す。TTSは最初の「こんにちは！」を0.57秒で合成して即再生し、残りは裏で順次合成され、自然につながって最後まで喋りきりました。

クロ助：「速くする鍵が、速いモデルでも高性能GPUでもなかったのが、私には刺さったっちゃ。『全部作ってから喋る』のをやめて、『最初のひと言ができたら喋り出す』だけで、5倍近く速くなったんだべさ」

コロ：「これ、昨日の話とつながっとるがね。一点の速さじゃなくて、総時間で見る。喋り出しまでの体感を一本の物差しで測ったで、どこを直せばええかが見えたんだわ」

そう、これはDay291で書いた「tok/sのような一点の数字ではなく、総応答時間で評価する」という話の、いちばん分かりやすい実践になりました。LLM単体は0.57秒で十分速い。でも会話のテンポを殺していたのは、その後ろの「喋り出しの設計」だったんです。

つまずきポイントと解決策

つまずき1：「全部作ってから喋る」が会話を殺す

いちばんの落とし穴がこれでした。応答を全文生成してからまとめて再生する作りは、コードとしては素直ですが、応答が長いほど沈黙が伸びます。解決は「文単位ストリーミング」。応答を句点で区切り、最初の1文ができたら即再生、残りは裏で順次合成。これだけで喋り出しが劇的に速くなりました。会話系は「最後まで完成させてから返す」より「最初のひと言を早く返す」設計が効きます。

つまずき2：LLMの初回ロードを"毎回の遅さ"と誤解しない

①の4.88秒を見て「LLMが遅い」と早合点しかけました。でも2回目は0.59秒。あの差はモデルの初回ロードで、会話中の毎ターンには乗りません。STTモデルの読み込みも同じで、スクリプト起動時の1回きり（NPUで約10秒）です。だから評価は「常駐させた状態のターン遅延」で測るのが正解。起動の重さをターンの遅さと混同すると、判断を誤ります。

つまずき3：応答が長いと、音声も必然的に長くなる

TTSが重いのは、合成エンジンが遅いからとは限りません。そもそも喋らせる文章が長ければ、合成にも再生にも時間がかかります。LLMに「1文40字以内」と短く返させると、最初の1文の合成も軽くなり、テンポも良くなりました。"喋り出し"を速くしたいなら、まず喋らせる中身を短くする、という単純な一手が効きます。

つまずき4：VOICEVOXの話者IDの指定

VOICEVOXは話者ごとにIDが割り振られています。クロ助の声に合わせたいなら「春日部つむぎ」のIDを指定する必要があり、ここを省くと意図しない声で返ってきます。キャラ音声で喋らせたいときは、最初に話者IDを固定しておくのが安全でした。

応用例

喋り出しまで1.27秒で会話が回ると分かると、使い道が一気に具体的になります。

ひとつは、ハンズフリーの音声アシスタント。クラウドに音声を出さないので、社外秘の話題でも安心して声で操作できます。「クラウドに出さずに手元で完結」が、ようやく会話のレベルで現実味を帯びました。

もうひとつは、議事録や打ち合わせの対話要約。聞いて、考えて、声で返すまでが手元で完結するので、その場で「いまの要点は？」と問い返せます。

そして本命は、キャラ音声で話す相棒です。VOICEVOXの話者を変えれば、好きな声で返してくれる。今日の出発点だったCocoroAIの"約2分"も、この「文単位で喋り出す」設計を持ち込めば、大きく縮められるはず。半年越しのリベンジに、ようやく手がかりがつかめました。

関連記事

今回の内容に関連する過去記事もぜひご覧ください：

• Day324: クラウドに声を出さずに、X1の中だけでどこまで速い？ ― ローカル音声認識が0.14秒で動いた話

• Day262: CocoroAIでローカルLLM×VRMキャラと音声会話してみた（応答まで約2分の壁）

• Day256: NPU 93%フル稼働！でもCPU+GPUのほうが速い!?【検証編】

• Day291: tok/sの罠 ― 速さは「総応答時間」で見る

まとめ

クラウドに声を出さずに、X1の中だけで声の会話が成立するか。今日の検証で分かったことを整理します。

1. 完全ローカルで、声の会話が一往復成立した ― 喋り出しまで1.27秒。Day262で約2分かかった音声会話が、会話のテンポに届くところまで来た

2. 遅延の正体はLLMでもSTTでもなく「TTSの全文待ち」だった ― STT 0.14秒・LLM 0.57秒と土台は速く、ボトルネックは「応答を全部作ってから喋る」設計

3. 速くする鍵は、速いモデルでも高性能GPUでもなく"喋り出しの設計" ― 応答を文単位に割り、最初の1文を作ったら即再生。部品を一切替えずに6.26秒 → 1.27秒

4. 判断は一点の速さでなく総時間で ― LLM単体は0.57秒で十分速い。会話のテンポを決めていたのはその後ろの設計。Day291「総応答時間で見る」の実践

「ローカルは遅い」も「速いモデルにすれば解決」も、実際に手元で各段を測ってみると、両方ほどよく裏切られました。鍵は部品の速さではなく、いつ喋り始めるかの設計。やっぱり、最後は手元で測るのがいちばん速いです。

クロ助：「全部完璧にしてから話そうとすると、かえって遅くなる。最初のひと言を早く返すほうが、会話はうまくいくんだっちゃね」

コロ：「それ、人間関係でも同じだがや」

クロ助：「……今日はそういうことにしておくべさ」

次回予告

喋り出しは1.27秒まで来ましたが、宿題はまだあります。

次回は、今日あえて触れなかった"中身の質"に進みます。TTSをAivisSpeechに替えて声の自然さを比べたり、LLMをNPU版や3B級に替えて賢さを比べたり。さらに、今日は一往復でしたが、連続して会話できるループにして、最後はDay262のCocoroAIに正面からリベンジしたいと思っています。

今日は「速さ」、次は「自然さと賢さ」。X1だけのローカル音声対話、もう少しだけ続けます。お楽しみに！

おまけ：見出し画像作成プロンプト

今日の見出し画像のベースはジミー（Gemini）に下記プロンプトで作成してもらいました！クロ助とコロの参考画像（`AI擬人化\Gemini_Generated_Image_クロ助（Claude Desktop）.png` と `AI擬人化\Gemini_Generated_Image_コロ（Copilot）.png`）を添付して、人物の一貫性を確保しています。

詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。

下記条件のnote見出し画像をサイズは横長で作成してください。サイズは必ず横長で作成してください。

【重要】添付画像とキャラクターの対応：
- 添付1「Gemini_Generated_Image_クロ助（Claude Desktop）.png」→ クロ助（クリーム色ケーブルニット・丸眼鏡・ウェーブヘアの女性・中央左・やや大きめ）
- 添付2「Gemini_Generated_Image_コロ（Copilot）.png」→ コロ（制服風のきちんとした服装・眼鏡の女性・中央右）
各キャラクターは必ず対応する添付画像の外見を忠実に再現してください。

## 見出し画像案

### デザインコンセプト
- 背景: 夜寄りのダークブルーからティールへのグラデーション（クラウドに出さない「ローカルの安心感」を表現）。PC全体を薄い鍵マークと結界のような円が囲み、外（クラウド）とつながっていないオフライン感を出す。NPUの紫スパイクとArc 140Vの水色グローを背景のアクセントに散らす
- メインビジュアル: クロ助＆コロが ThinkPad X1 と声で会話しているシーン
  - 中央左（やや大きめ）: クロ助（ダークブラウンのウェーブヘア、丸眼鏡、クリーム色ケーブルニット、女性）。X1のマイクに向かって話しかけ、口元から右へ音声の波形が流れている。穏やかで優しい表情
  - 中央右: コロ（制服風のきちんとした服装、眼鏡、几帳面な雰囲気の女性・Microsoft/Intel陣営）。タブレットを指さし、画面に「STT → LLM → TTS」のパイプライン図を表示。今日は3つすべてが点灯して一周つながっている様子を案内する表情
  - 二人の間〜PC画面に: 「声 → 文字 → 考える → 声」の循環が一周してつながり、中央に「1.27秒」の大きな数字パネル
- テキスト要素（3段）:
  - 上段（白・太字・30pt）: 「クラウドに出さずに、」
  - 中段（特大ゴールド・48pt）: 「声で会話できた」
  - 下段（白・細字・22pt）: 「X1だけのローカル音声対話・325日目」
- 装飾: 声の波形、鍵マーク（オフライン）、「STT→LLM→TTS」の小パイプライン（3つすべて点灯）、循環を示す矢印、NPUチップアイコン（紫スパイク）、Arcの水色グロー、クロ助周囲にあたたかいアンバー系の薄影・コロ周囲にブルー系の薄影

### 作成手順
1. 画像サイズ（1536×1024px）の横長フォーマット
2. 夜寄りのダークブルー → ティールのグラデーション背景を設定
3. クロ助（中央左・やや大きめ）、コロ（中央右）を配置
4. 添付した2キャラ（クロ助・コロ）の参考画像と外見を一致させる
5. クロ助の口元から流れる声の波形と、PC内に閉じた鍵・結界（オフライン感）を配置
6. 装飾要素：「STT→LLM→TTS」パイプライン（3つすべて点灯）、循環矢印、「1.27秒」の数字パネル、NPUチップ・Arcグロー
7. テキストを3段構成で追加
8. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置
9. 全体のバランスを確認して完成

#YaroTech #生成AI #AI活用 #ローカルLLM #音声合成 #VOICEVOX #OpenVINO #IntelCoreUltra #NPU #ThinkPad #ローカルAI #継続は力なり