用語が頭に入らないを解決【G検定】【E資格】Vision Transformerの「事前学習」と「Fine-tuning」を、“転職する画像鑑定士”で理解する 👀✨

Vision Transformer、略してViTを勉強していると、事前学習、転移学習、Fine-tuning、CLS token、Transformer Encoder、MLP Head……と、急に専門用語が押し寄せてきます。

しかもいろんな説明を見てると、
「ImageNetで事前学習したTransformer Encoderを使って、CIFAR-100でFine-tuningする」などと書かれている。

……日本語なのか英語なのか、もうよくわからない😂

特にわかりにくいのが、🤔「いったい何を使い回して、何を新しく学習しているの？」というところです。

でも、この仕組み。実は「すでに腕のいい画像鑑定士を、別の会社に転職させる」と考えると、かなりわかりやすくなります💡

今回は、この「転職する画像鑑定士」のたとえを使って、Vision Transformerの事前学習、転移学習、Fine-tuningをひとつにつなげてみます。

👨‍🎓 まずは「画像を見分ける専門家」を育ててみる

ここに、まだ画像の見分け方を知らない新人がいるとします。この新人に、これから「写真を見て、それが何なのかを当てる専門家」になってもらいます。

そのために、🐶犬、🐱猫、🐦鳥、🚗車、✈️飛行機、🪑家具、🍎果物……と、いろいろな画像を、これでもか！というくらい見てもらいます。

この大量の練習問題として使うのが、たとえば📚 ImageNetです。

ImageNetは、「大量の画像」と「その画像が何なのかという正解ラベル」を集めたデータセットです。ここではわかりやすく、1000種類の中から正解を選ぶ試験だと思ってみます。

新人には毎日、「はい、この画像は1000種類のうち何でしょう？🤔」という問題を解いてもらいます。

もちろん、最初は間違えます。でも何度も何度も画像を見ているうちに、「この尖った部分は耳かもしれない」「この細かい模様は毛っぽい」「丸いものが二つある。タイヤかもしれない」「この形は翼っぽいぞ」と、だんだん画像を見るコツを身につけていきます。

このように、本当にやらせたい仕事の前に、大量のデータを使って基礎能力を身につけさせること。これが、

✨ 事前学習（pre-training）です。

つまり事前学習とは、📚「まず大量の練習問題で、画像を見る力を鍛えておくこと」と考えるとわかりやすいです。

🧠 事前学習で手に入れるのは「答えの丸暗記」ではない

ここが、とても大切です。

ImageNetで学習した画像鑑定士が身につけるのは、「犬は327番」「猫は281番」といった答えの丸暗記だけではありません。もっと汎用的な、👀「画像を見る力」を身につけます。

たとえば、輪郭を見る。色を見る。模様を見る。形を見る。物体のパーツを見る。離れた場所にあるパーツどうしの関係を見る。こうした能力です。

つまり、大量の画像を使って事前学習することで、「画像を見る目が肥えた専門家」が出来上がっていきます。

この専門家が身につけた「画像を見る能力」にあたる中心部分が、

👀 Transformer Encoderです。

👀 Transformer Encoderは「見る担当」

Transformer Encoderは、最終的に「これは犬です！🐶」と答える部分ではありません。その前に、画像を観察して「そこにどんな特徴があるのか」を整理する部分です。

Vision Transformerでは、画像を小さな四角に分割して扱います。この小さな四角を、🧩 patch（パッチ）と呼びます。

たとえば犬の写真なら、あるパッチには耳、あるパッチには目、あるパッチには毛、別のパッチには背景が入っています。

Transformer Encoderは、それぞれのパッチをバラバラに見るだけではありません。「この耳らしきものの下に目らしきものがある」「その周囲には毛のような模様がある」というように、パッチどうしの関係も見ます。

このときに活躍するのが、🔍 Self-Attentionです。

Self-Attentionは、「どこに注目するべきか」「どことどこが関係しているのか」を調べる仕組みです。

だからTransformer Encoderは、👀「画像の各部分を観察し、その関係まで考えながら特徴を見つける専門家」とイメージするとよさそうです。

🧑‍💼 CLS tokenは「みんなの報告をまとめる係」

ここで、もうひとつViT特有の言葉が出てきます。CLS tokenです。

CLSはclassification、つまり「分類」の略です。ただし、CLS tokenそのものが「犬」「猫」という答えを持っているわけではありません。

たとえるなら、🧑‍💼「画像の各パーツから報告を集めるリーダー」です。

それぞれのパッチが、「こちらでは茶色い毛を発見しました！」「こちらでは尖った耳のようなものがあります！」「こちらには丸い目らしきものがあります！」と報告してきます。

CLS tokenは、それらの情報を受け取って、「なるほど。全部合わせると、この画像にはこういう特徴がありますね」とまとめます。

つまりCLS tokenは最終的に、「画像全体を代表する特徴情報」を持つようになります。

📝 でも「見る力」だけでは試験には答えられない

こうして画像鑑定士は、かなり画像を見るのが上手になりました。耳も見つけられる。毛もわかる。形もわかる。パーツどうしの関係もわかる。画像全体の特徴もまとめられる。

でも試験では最後に、「で、1000種類のうち何番なんですか？」と答えなければなりません。

そこで登場するのが、📝 MLP Headです。

MLP Headはざっくり言えば、「最後に答えを決める分類器」です。

Transformer Encoderが、「この画像には、こんな特徴があります」という分析結果を作る。
それをMLP Headが受け取って、🐶犬っぽさ8.2、🐱猫っぽさ2.4、🐺狼っぽさ1.8……というように、それぞれの候補に点数をつけます。

そして最終的に、一番点数の高い候補を「これが答えです！」と選びます。

つまり、
👀 Transformer Encoder ＝ 見る担当
📝 MLP Head ＝ 答える担当
です。

ここまでが、ImageNetでの事前学習です。

🚪 さて、画像鑑定士が転職することになった

ここからが本題です💦

ImageNetで長い訓練を積んだ結果、とても優秀な画像鑑定士が育ちました。この専門家は今まで、1000種類の中から答えを選ぶ仕事をしていました。

そこで会社から渡されていた回答用紙には、1000個の選択肢があります。

この、📝「1000択の回答用紙」が、ImageNet用のMLP Headだと思ってください。

ところがある日、この専門家が別の会社に転職することになりました。

新しい職場で言われます。

「今度はCIFAR-100を担当してください」

CIFAR-100では、画像を100種類に分類します。つまり新しい職場では、1000択ではなく100択で答えればいい。

ここで困ったことが起きます。

専門家本人は、ものすごく優秀です。でも、持っている回答用紙が旧職場仕様なのです。100種類しか答えがないのに、回答欄が1000個ある。

これは使いにくい😂

🤔 じゃあ、専門家をクビにして新人を雇う？

ここで、「仕事が変わったんだから、この専門家はもう使えない」と考えて、せっかく育てた専門家をクビにするでしょうか。

そして、画像の見方も知らない新人を連れてきて、「今日からCIFAR-100をゼロから勉強してください」とするでしょうか。

……もったいないですよね。

この専門家はすでに、耳を見る力、輪郭を見る力、模様を見る力、形を見る力、物体のパーツを見る力、パーツどうしの関係を見る力といった、👀「画像を見るための基礎能力」を持っています。

新しい職場でも、その能力は十分に役に立ちます。
だったら、専門家本人はそのまま使えばいい。

変えればいいのは、📝 回答用紙です。

🔄 1000択の回答用紙を100択に交換する

ImageNetでは1000種類から答える必要があったので、1000クラス用のMLP Headを使っていました。
ところがCIFAR-100では、100種類から答えればいい。
そこで、🔄 MLP Headを100クラス用に取り替えます。

たとえばTransformer Encoderが、一枚の画像の特徴を768個の数字で表しているとします。これを「768次元の特徴量」と呼びます。

ImageNet時代は、
768個の特徴 → 1000種類の答えに　変換していました。

イメージとしては、768 → 1000　です。

ところがCIFAR-100なら、768 → 100にすればいい。

つまり、Transformer Encoderが作り出す「画像の特徴」はそのまま利用して、その後ろにある分類部分を100クラス用に変更します。

教材に出てくる「MLP Headをクラス数に応じて取り替える」というのは、難しく言っていますが、

📝 1000択の回答用紙を、100択の回答用紙に交換する　と考えればよいわけです。

🔧 専門家はそのまま。でも新しい職場には少し慣れてもらう

とはいえ、新しい回答用紙を渡して、「では今日から完璧に働いてください！」というわけにもいきません。

ImageNetとCIFAR-100では、画像の内容も違えば、分類する対象も違います。そこで、これまで身につけた能力を土台として、新しい仕事向けに少し調整します。　　　

これが、
🔧 Fine-tuning（ファインチューニング）です。
Fine-tuningを日本語にすると「微調整」。
ゼロからすべてを覚え直すわけではありません。すでに「画像を見る力」を持っている専門家に、「今までの経験を生かしつつ、今度はこちらの仕事のやり方に慣れてください」と追加で訓練するイメージです。

実際のFine-tuningでは、MLP Headだけを学習させる場合もあれば、Transformer Encoderの一部、あるいは全部の重みも新しいデータに合わせて調整する場合があります。

ただし、どの場合でも基本にあるのは、

✨ 事前学習で獲得した能力を土台として利用するという考え方です。

🚚 では「転移学習」とは何なのか？

ここまでくると、転移学習という言葉も見えてきます。

画像鑑定士は旧職場で、「耳を見る力」「形を見る力」「特徴を見抜く力」を身につけました。そして、その能力を新しい職場でも使っています。

つまり、
🚚 以前の仕事で身につけた能力を、別の仕事へ持っていく。
これが、転移学習です。
「転移」という言葉のとおり、学習済みの能力を別のタスクへ移しているわけです。
そして、その持ってきた能力を新しい仕事に合わせてさらに調整する代表的な方法が、Fine-tuningです。

整理すると、
🚚 転移学習＝以前身につけた能力を、
別の仕事でも利用するという大きな考え方。

🔧 Fine-tuning

＝その能力を、新しい仕事に合わせて微調整する方法。という関係になります。

似ていますが、まったく同じ言葉ではありません。

💡 「結局、何を転移しているの？」を考える

このテーマで一番わかりにくいのが、
「転移学習って、結局何を転移しているの？」というところかもしれません。

転移しているのは、ImageNetで使っていた1000個の答えではありません。だから、MLP Headは交換できます。

転移しているのは、
👀 答えを出す前に身につけた「見る力」です。

ここを分けて考えると、一気につながります。

Transformer Encoderには、
👀「画像を見る力」が蓄積されています。
一方でMLP Headは、
📝「今回の問題でどう答えるか」を担当しています。

だから仕事が変わっても、「見る力」は再利用できる。でも、答えの選択肢が変わったら、「答える部分」は新しい仕事に合わせなければならない。
この構造なんですね。

🧩 ViTの用語を「転職する画像鑑定士」に置き換える

✅ 最後に、これだけ覚える💪

Vision Transformerの事前学習とFine-tuningは、専門用語から覚えようとすると、かなり複雑に見えます。

でも、まずはこのストーリーを覚えておけばよさそうです。

📚 ImageNetで大量の画像を見せて、画像鑑定士を育てる。これが「事前学習」。
そこで身につけた👀「画像を見る力」が、Transformer Encoder。
画像の各部分から情報を集め、全体をまとめる係が🧑‍💼 CLS token。
そして、1000種類の中から最後の答えを選ぶ回答用紙が📝 MLP Head。
その画像鑑定士が、🏢 CIFAR-100という新しい職場へ転職する。せっかく身につけた「画像を見る力」は捨てず、新しい仕事でも利用する。これが🚚 転移学習。
ただし、新しい仕事は1000択ではなく100択なので、📝 1000択の回答用紙を100択に交換する。そして、新しい職場の仕事に合わせて少し追加訓練する。これが🔧 Fine-tuningです。

つまり、
👀「見る力」は使い回す。
📝「答え方」は新しい問題に合わせて変える。

Vision Transformerの事前学習とFine-tuningで迷ったら、まずこの一文に戻ってくれば大丈夫です。

専門家はクビにしない🤭

回答用紙を取り替えて、転職先の仕事に慣れてもらう。
そう考えると、「ImageNetで事前学習済みのTransformer Encoderを使って、CIFAR-100でFine-tuningする」という一見難しそうな文章も「ああ、ImageNetで育てた画像鑑定士を、CIFAR-100に転職させる話ね」
と読めるようになります😊✨

カタカナだらけだったViTの事前学習とFine-tuning。たとえ話に置き換えてみると、意外とやっていることはシンプルでした。