#48：クロスアテンションの深イイ話——「あなたは昨日映画を見たか？」が英語になるまで

Transformer の解説図を眺めていると、Encoder と Decoder のあいだに引かれた矢印が、どうしても「単語と単語の対応表」に見えてきます。日本語の「見た」が英語の "watch" に線で結ばれている——そんなイメージです。
ところが実際に推論の手順を一歩ずつ追ってみると、そこで起きていることは対応表とはまったく違います。この記事は、その確認作業の記録です。
 
題材は一文だけ。
 
あなたは 昨日 映画を 見た か？　➡　Did you watch a movie yesterday?
 
ここでは話を Encoder–Decoder 型 Transformer の推論時に限定します。学習時ではありません。この区別が、あとで効いてきます。

 1. Encoder は日本語を「一度に」読む

まず入力文をトークン化します。簡単のため 5 トークンとしましょう。
```
あなたは 昨日 映画を 見た か？
　　↓　　　 ↓　　 ↓ 　↓　 ↓
　　X1 　　X2 　 X3  X4  X5
```
これを Encoder にまとめて入力します。Encoder の Self-Attention では、各トークンから Q, K, V を作り、互いを参照させます。ここに Causal Mask（未来を隠すマスク）はありません。原文はすでに全部そこにあるのですから、隠す理由がないわけです。
したがって「見た」の Q4 は、「あなたは」「昨日」「映画を」「か？」のすべての K を見ることができます。
ここが最初のポイントです。Encoder から出てくる「見た」の表現は、辞書的な意味での「見た」ではありません。「あなたは昨日映画を見たか？」という文脈のなかでの「見た」になっています。
Encoder の処理が終わると、その出力から Cross-Attention 用の K, V を作ります。
```
Encoder 出力
↓
K₁,V₁ 　K₂,V₂　 K₃,V₃　 K₄,V₄ 　K₅,V₅
```
この5組のK,Vは、翻訳が終わるまでDecoderのCross-Attentionから繰り返し参照されます。 

2. Decoder は英語を1トークンずつ生成する

Decoder には最初、`<BOS>`（翻訳開始を示す特殊トークン）だけが入ります。
Decoder Self-Attention では、この 1 トークンから Q, K, V を作ります。1個しかないので、参照できるのは自分自身だけです。
そして、Encoder–Decoder 型の核心である Cross-Attention に進みます。 

3. Cross-Attention ——「形」を見ると性質が分かる

Cross-Attention では、Q は Decoder から、K と V は Encoder から来ます。
```
Decoder Encoder（日本語）
Q<BOS> → K₁ V₁
　　　　　  K₂ V₂
　　　　　  K₃ V₃
　　　　　  K₄ V₄
　　　　　  K₅ V₅
```
計算するのは QKᵀ です。Decoder 側の Q は 1 本、Encoder 側の K は 5 本ですから、
(1×d)(d×5)=1×5
結果は 1×5 のベクトル、つまり「日本語5トークンそれぞれとの関連度を表すAttention Score」になります。
 
この形を見れば、Cross-Attention が何をしているかは明らかです。
Cross-Attentionでは、QとKの本数がそもそも一致していません。日本語 5 トークンと英語の生成済みトークンを一対一で結んでいるのではなく、英語側の 1 本の Q が、日本語側の 5 本の K との類似度を計算し、「いま次の英単語を出すために、日本語のどこを見るべきか」を決めているのです。
必要なのは、Qの1本あたりのベクトル次元と、Kの1本あたりのベクトル次元が同じであることです。
 
これが Cross-Attention です。翻訳において日英でトークン数も語順も違うのに、なぜ機械翻訳が成立するのか——その答えがここにあります。そもそも数を合わせる必要がないのです。 

4. 推論中、Encoderは一度だけ計算する

`<BOS>` の次に "Did" が生成されたとします。Decoder の生成履歴は `<BOS> Did` になりました。
このとき、Encoder は再計算されません。K₁〜K₅、V₁〜V₅ はそのまま保存されており、次のステップでもそのまま使われます。日本語の原文は変わらないのですから、当たり前といえば当たり前ですが、これが Cross-Attention 側の KV Cache です。
一方、Decoder Self-Attention では現在 `<BOS> Did` の 2 トークンがあります。
学習時や Prefill 段階なら、ここには Causal Mask が必要です。
```
　　　BOS   Did
BOS　 ○　　 ×
Did 　  ○　　 ○
```
ところが Decode 段階（1 トークンずつ生成している最中）で KV Cache を使っている場合、新しく生成された "Did" に対応する Q だけを計算し、K_BOS と K_Did を見るだけです。
未来の英語は、まだ存在しません。
`you watch a movie yesterday` はこの時点ではこの世にないのですから、隠すべき未来がない。つまり Decode 段階では Causal Mask は原理的に不要ということになります。マスクは「未来を見えなくする」ための仕組みですが、逐次生成では未来がそもそも生成されていないからです。
＞ここでいう「原理的に不要」は、KV Cacheを利用して新しい1トークンを逐次処理するDecode段階を指します。実装上は、同じCausal Attentionの仕組みを残している場合があります。
 
こうして、
```
<BOS>
↓ Did
↓ Did you
↓ Did you watch
↓ Did you watch a
↓ Did you watch a movie
↓ Did you watch a movie yesterday
↓ ?
```
と伸びていきます。各ステップで Decoder は、Self-Attention で「ここまで書いた英語」を見て、Cross-Attention で「日本語の全文」を見て、次の 1トークンを決めています。 

5. 深イイ話 その 1 ——「か？」だけでは過去形は決まらない

さて、ここからが本題です。
最初の "Did" を生成するときのアテンション重みは、たとえばこうなっている——という説明をよく見かけます。
```
あなたは 　昨日　 映画を　見た　か？
　0.05　　 0.10　   0.05　  0.05 　0.75
```
疑問文だから「か？」に強く注目する。いかにもありそうな説明です。
しかしこの説明では、次のような鋭い突っ込みが返ってきそうです。
> 「か？」に注目するだけでは、過去形かどうか分からないのでは？
 
まったくその通りで、この説明は単純化しすぎています。「か？」が教えてくれるのは、疑問文であることだけです。それだけでは `Do` なのか `Did` なのか `Will` なのかは決まらない。
実際には、"Did" を決める情報は 1 個の K から出てくるものではありません。

これらが Encoder の各トークンの表現のなかに分散して存在しており、Q_BOS はそのすべてを重み付きで受け取ります。
そして、ここでステップ 1 の話が効いてきます。
K₄は単なる「見た」という単語の情報ではなく、その周囲の文脈を反映した表現になっています。同じようにK₂（「昨日」）にも、「見た」と結びついた時間情報が反映されています。つまり、Cross-Attention が参照しているのは素の単語ではなく、Encoder が文脈から味付けを施した表現です。
「か？」に注目することがあったとしても、過去形に関する情報はK₂やK₄など、他の文脈化された表現にも含まれています。
「『か？』だけでは過去形は分からない」——この引っかかりは、Cross-Attention が逐語的な対応表ではないことを理解するうえで、これ以上ないほど良い入口だと思います。 

6. 深イイ話 その 2 —— 矛盾した原文をどう訳すか

同じ調子で、もう一段いじわるな問いを立ててみます。
> 人間なら「あなたは明日映画を見たか？」と言われれば、「文法的におかしいのでは」と思いながらも "Did you watch a movie tomorrow?" と訳すと思われるが、 AI には、これは難しいのではないか？
未来の時間表現と過去形の動詞が同居した、壊れた原文です。
結論から言うと、AI にもこの訳は十分に生成できます。ただ、この直感には重要な部分が含まれています。
 
Encoder は矛盾を「保持できる」
```
あなたは ─┐
明日        ─┤
映画を     ─┤→ 文脈化された表現
見た        ─┤
か？        ─┘
```
「明日」は未来、「見た」は過去。Encoder の Self-Attention は全文を双方向に見ますから、この不自然な組み合わせそのものが表現のなかに反映され得ます。Encoder は「明日」と「見た」を別々に処理して終わりではなく、両者の関係を含んだ表現を作ってから Decoder に渡している、ということです。

人間はそこで「もう一段の判断」をする

人間の翻訳者には、この時点で選択肢があります。
·        原文忠実型：Did you watch a movie tomorrow?（矛盾ごと訳す）
·        意味修正型：Will you watch a movie tomorrow?（誤記と判断して直す）
·        確認型：「"Will you watch a movie tomorrow?" の意味でしょうか？」と聞き返す
この分岐には、文法や意味の整合性を判断する人間の翻訳者としての判断が関わっています。 

モデルの側で起きていること

Transformerには、人間が書いた文法規則をそのまま格納した文法エンジンがあるわけではありません。大量の言語データから、文法や意味の関係を含む複雑なパターンを学習し、それを次のトークンの確率分布として出力します。
したがって、学習した大量の言語パターンや翻訳パターンの中から、その文脈に続く可能性の高い表現を生成するため、原文を忠実に訳す場合もあれば、文脈から不自然さを補正する方向に進む場合もあります。さらに、Decoder 自身が `Did ... tomorrow` という組み合わせを生成していく過程で、「この英語は不自然だ」という方向に確率が下がることも起こり得ます。
ただし、ここで「AI には文法理解がない」と言い切るのも正確ではありません。大規模モデルは、`Did you ... tomorrow?` より `Will you ... tomorrow?` のほうが自然だ、という極めて複雑な統計的構造を獲得しています。矛盾をある程度検出することはできる。しかしそれは、時制という規則に照らして明示的に推論した結果ではない——ここが人間との違いです。 

7. 三つのアテンションを一枚に整理する

ここまでの話を表にまとめます。 

Cross-Attention の部分だけ、Q の出所と K・V の出所が違います。この 1 行が、Cross-Attentionの核心です。
＞ここでは、現在のLLM推論でよく使われる用語を借りて、入力をまとめて処理する段階をPrefill、生成を1トークンずつ進める段階をDecodeと呼びます。
 
そして生成の流れを図にすると、こうなります。
```
【Encoder】日本語 5 トークン
　　　　　　↓ Self-Attention（マスクなし・双方向）
　文脈化された表現
　　　　　　↓ K, V として保持（以後、再計算なし）
　　　　　　│
　　　　　　↓
　　　　Cross-Attention ←─┐
　　　　　　↑　　　　　　  │
　　　　　　│ Q 　　　　　│
【Decoder】　　　　　　　 │
　<BOS> → Did → you → .. │
　　　　　　↑　　　　　　 │
Self-Attention ─────────┘
　（過去の英語を見る）
```
新しいトークンから出た Q が二手に分かれ、片方は自分の過去（英語）を、もう片方は原文（日本語）を見に行く。この二重の参照が、Encoder–Decoder 型 Transformer の設計そのものです。 

補足：現在主流のDecoder-only LLMには、Cross-Attentionがない

最後に、混同しやすい点をひとつ。
ここまで説明したのは Encoder–Decoder 型（オリジナルの Transformer、T5、翻訳モデルなど）の構造です。一方、いま広く使われている GPT 系・Claude 系といった大規模言語モデルの多くは Decoder-only 型で、Encoder も Cross-Attention も持ちません。
では Decoder-only のモデルはどうやって翻訳しているのか。答えは単純で、原文を「生成済みトークン」として同じ系列に入れてしまうのです。
```
Translate to English: あなたは昨日映画を見たか？ → Did you watch ...
```
原文も訳文も一本の系列に並び、Self-Attention だけで処理されます。Cross-Attention がやっていた「原文を参照する」仕事は、Self-Attention が兼務することになります。
構造としては別物ですが、「文脈化された表現を通じて原文全体を参照する」という本質は変わりません。Cross-Attention を理解しておくと、Decoder-only モデルが何を統合したのかがよく見えるようになります。 

まとめ

• Cross-Attention の Q は Decoder から、K・V は Encoder から来る。この非対称性がすべて

• Cross-AttentionではQとKの本数は一致しなくてよい。だから日英で語順もトークン数も違ってよい

• 参照される K は素の単語ではなく、Encoder が全文を見て作った文脈化済みの表現

• ゆえに「か？」に注目しても過去形の情報は失われない。情報は文全体に分散している

• Decode 段階では未来のトークンがまだ存在しないため、Causal Mask は原理的に不要

Cross-Attention は対応表ではなく、「いま何を書くために、原文のどこを見るか」を毎ステップ決め直す仕組み

図の矢印を「対応表」と読むと、Transformer の翻訳はいつまでも不思議なままです。「毎回、原文全体を参照している」と読み替えた瞬間に、腑に落ちます。