【30勝2敗】盛っても薄くてもダメ。AIへの指示で唯一勝てたのは「私を知っている版」だけでした

こんにちは、れん学長です（2026年7月26日時点）。

AIへの指示って、盛るほど賢くなると思っていませんか。

私は盛りすぎたせいで、良いキャッチコピーが1本も出なくなったことがあります。

ChatGPTのカスタム指示、ClaudeのCLAUDE.md、自作のスキル。書き足す一方で

「どれを消していいか分からない」

っていう状態になっている方、多いと思うんですよね。

このシリーズでは「メタ認知して」の4行を足すと効く、という実測を続けてきました。

で、今回は逆です。指示から削ったらどうなるかを、初めて数字で測りました。

前回の記事では、Anthropicの公式ブログが「Claude Code本体の指示文を8割以上削っても、性能は落ちなかった」と書いていた話を解説しました。

ただ、あの話は「削る」で終わっています。残っている問いは「じゃあ、何を残すのか」です。今回はそこを測りました。

やったのは、自分のスキルを4種類に改造して、どれが一番良いコピーを出すか、本人の私がブラインドで判定する対決です。

結果、結論は2回ひっくり返りました。

読み終わる頃には、あなたの常設指示とスキルの「消していい行」がひと目で見分けられるようになって、出力の質を落とさずAI代も下げられるようになります。

そもそも「常設指示」と「スキル」ってなに？

本題の前に、言葉を2つだけ整理させてください。

常設指示というのは、毎回のやり取りに自動で読み込まれる、書きっぱなしの指示文のことです。具体的にはこのあたりですね。

• ChatGPTのカスタム指示。設定画面に書いておくと、毎回の回答に反映されます

• ClaudeやClaude CodeのCLAUDE.md。プロジェクトフォルダに置いておく指示ファイルです

• OpenAIのコーディングAIであるCodexのAGENTS.md。役割はCLAUDE.mdと同じです

で、スキルはその親戚で、特定の作業のときだけ読み込まれる作業マニュアルです。Anthropicが公式に用意している仕組みで、Claude Codeなどで使えます。

ちなみにOpenAIのCodexにも、同じ形式のスキルを読み込む仕組みがあります。私はClaudeで作ったスキルを、Codex側でもそのまま使い回しています。

どちらも「AIに渡しっぱなしにする固定の指示文」で、違いは読み込まれるタイミングだけです。

今回の実験台はスキル1本ですが、問うているのは固定の指示文すべてに共通する性質です。

実は「常設指示は、書かないことの方が大事」という話は、Anthropicの公式ベストプラクティスガイドを根拠に、6月の記事で整理済みでした。今回はその実測編です。

公式ガイドはこちらです。

前置きはここまでにして、ここからが今回の本編です。

きっかけは、スキル121個と「5月の盛りすぎ事故」

なんでこんな実験をしたのかというと、きっかけは2つあります。

1つ目は、スキルの棚卸しです。私は気づいたらスキルを121個も作っていて、AI自身に棚卸しさせたら「実害は1個だけ」という結果になりました。その話はこの記事に書いています。

2つ目は、今回初めて書く「5月の盛りすぎ事故」です。

2026年5月、サムネイルのキャッチコピー作りで、出てきた案を見ながら、良かれと思って禁止ルールを足していったんです。スキルに書いたわけではなく、その場の判断基準としてですね。

• 事実の数字で裏付けること

• ネガティブな言葉を使わないこと

• 誇張しないこと

そうしたところ、良い案が1本も出なくなりました。

それで、追加したAIを厳密に縛るルールを捨てて、AIにもう少し自由に考えさせるやり方に戻したんです。そうしたら、その日のうちにちゃんと採用できるコピーが決まりました。ちなみに当時作っていたのは、この記事のサムネでした。

この2つから、私は

「スキルは薄くが正解」

という仮説を立てました。

「書かないことの方が大事」という方向性は、さっき紹介した公式ガイドも言っています。ただ、この言い切りと、ここから出てくる判断基準は、私自身の整理です。

この「薄くが正解」を判断基準の形にすると、1行で、

「その行は、モデルが知らないことか？」

ということです。

そして、残していいのは、次の3種類だけです。

• 自分の好みのルール

• 事故から学んだガードレール

• ファイル名などの取り決め

この仮説、半分は当たって、半分は良い意味で裏切られます。

実験台は、サムネコピーを作る私のスキル

今回、実験台にしたのは、私が毎回使っているサムネコピー作成スキルです。

キャッチコピーというのは、YouTubeのサムネイルに載せる短い文字のことですね。私はこれをスキルに作らせています。

このスキルを、次の4種類に改造しました。

• いつもの現行版。今も実際に使っているスキルそのままです。過去に採用したコピー83行の実例集、「サムネはポジティブな言葉が勝つ」というクリック率の実測ルール（3.9%対9.6%）、文字をどの位置に置くかの取り決めが入っています

• 制約マシマシ版。5月にその場の判断で使っていた禁止ルールを、今回はあえて現行版のスキルに書き足した版です

• ほぼ白紙版。文字の枠の説明だけを残して、あとは全部削った版です

• ネットの教科書版。私のことを一切知らないまま、世間に流通する良質なサムネコピー講座を同じくらいの厚さで詰めた版です。3秒ルール、好奇心ギャップ、数字の使い方と、真面目な一般論が17節あります

文字だけだと分かりにくいので、4種類それぞれの中身を並べておきますね。まずは、いつもの現行版です。

次が、5月の禁止ルールを盛り直した制約マシマシ版です。

3つ目が、枠の説明だけを残したほぼ白紙版です。

最後が、私のことを知らないまま真面目に書いたネットの教科書版です。

念のため言っておくと、教科書版は「わざと弱く作ったかませ犬」ではありません。これ単体で配布できるくらい、真面目に書きました。

対決のやり方は、本人ブラインド判定

やり方はシンプルです。

同じ動画の企画メモから、各版に8案ずつ（4案の生成を2回）コピーを作らせます。作るのは全部Claude Fable 5で、条件ごとに渡すスキルだけを差し替えます。

実験をやったのは7月21日から23日で、Claude Opus 5が出る前です。Opus 5での測り直しはまだしていません。

出てきた案を匿名で左右に並べて、私が「実際に採用したい方」を選ぶ。どれがどの版の案かは、最後まで見えません。

判定の様子は画面収録しました。予想は判定の前に決めておき、2回戦の見立てはあとから言い訳できないように実験ノートへ先に登録しました。

ちなみに題材は、この実験を紹介する動画そのもののサムネコピーです。実験台のスキルに、実験自体のサムネを作らせるという入れ子構造になっています（笑）。

1回戦は「削った版」が勝てませんでした

1回戦は、いつもの現行版、制約マシマシ版、ほぼ白紙版の3つで対決しました。ネットの教科書版は、あとの2回戦で登場します。

私の予想はこうです。現行版が1位。マシマシ版は、余計な制約が入っているけど私の好みも入っているので2位。ほぼ白紙版が最下位。

つまり「余計な制約は無い方が良い」と思っていたわけです。

結果はこうなりました。

• 制約マシマシ版が勝率88%でした（14勝2敗）

• いつもの現行版は勝率56%でした（9勝7敗）

• ほぼ白紙版は勝率6%でした（1勝15敗）

白紙が最下位なのは当たりました。外れたのは「マシマシより薄い現行版が1位になる」の部分です。

5月に私を苦しめたはずの禁止ルール盛り盛り版が、一番上に見えてしまった。「薄くが正解」と言うつもりの企画で、です。

「じゃあ盛るほど勝ちじゃん」と思いますよね。私も一瞬そう思いました。

でも、ここで結論を出すのは早かったんです。

勝ったのは「厚さ」なのか、「私を知っていること」なのか

冷静に見ると、マシマシ版と現行版には共通点があります。どちらにも、私の過去採用コピーや、クリック率の実測ルールが入っているんです。

つまり1回戦は、「指示の厚さ」と「私を知っているかどうか」が混ざっていて、どっちが効いたのか分離できていません。

そこで登場するのが、さっき紹介したネットの教科書版です。私の固有情報を一切入れずに、厚さだけ現行版の85%と、ほぼ同じ水準に揃えました。

本当はピッタリ同じ厚さまで揃えたかったのですが、それには中身のない文章を足して水増しするしかありません。水増しすると「わざと弱い対戦相手」を作ることになって、比較として不公平です。良質な一般論として自然に書ける上限が、この85%でした。

2回戦は、いつもの現行版、制約マシマシ版、ネットの教科書版の3つです。案も全部新しく生成し直して対決しました。ほぼ白紙版は、負け方が1回戦で十分見えたのでお休みです。

2回戦で、厚さは関係ないと分かりました

結果から言います。

ネットの教科書版の勝率は6%（1勝15敗）。1回戦のほぼ白紙版と、まったく同じ負け方でした。真面目な一般論を17節分詰めても、ほぼ白紙のスキルと同じ成績だったんです。

そして制約マシマシ版対いつもの現行版は、4勝4敗。1回戦で見えたマシマシ優位は、再現しませんでした。

1回戦と2回戦を合計すると、こうなります。私を知っている2版と、知らない2版の対戦成績は、30勝2敗。

ちなみに実験ノートに先に登録しておいた2回戦の見立ては

「私を知っている2版が教科書版に勝ち越す。マシマシ対現行は僅差」

でした。こちらは今度こそ的中です。

とはいえ、1回戦であれだけ上に見えたマシマシ版が、きっちり4勝4敗まで並ぶのは、肌感覚では意外でしたけどね。

効くのは「あなたを知っているか」だけでした

最初に立てた仮説「スキルは薄くが正解」は、言い直しが必要でした。

正しくはこうです。削っていいのは、モデルが既に知っていること。つまり一般論と重複です。

逆に、あなたの好み、あなたの実測、あなたとの取り決めは、薄くしてはいけない中身そのものでした。

判断基準の1行は、そのまま生きています。むしろ4種類×2回戦の全結果と、きれいに整合しました。

面白かったのが、判定中の私の独り言です。収録の文字起こしから拾うと、こんなことを言っていました。

• 「ネガティブ訴求は良くないからな」と言って、ネガティブ系のコピーを落としていました。これは現行版に書いてある「ポジティブが勝つ」実測ルールと同じ判断です

• 「どっちもピンとこないけど、スキルっていう単語が入ってるので左かなぁ」とも言っていました。これも現行版の「ツール名で何の動画か分かるようにする」という取り決めと同じです

• 教科書版の案には「右は何が何だかちょっと分からない」と2回も言っていました

つまり、勝った版に書いてあるルールを、私は判定の場でも無意識になぞっていたんです。スキルに書いた「私の好み」は、本当に私の好みだったということですね。

5月の事故の正体は、ルールを渡す順番でした

ここで、5月の事故も再解釈できました。あの禁止ルールたち、中身は悪くなかったんです。悪かったのは、渡す順番でした。

5月の私は、AIが出してきた案を見てから、ルールを当てていました。「7割減」はネガティブだからボツ、「効率10倍」は誇張だからボツ、「副業OS」は概念的すぎるからボツ、という具合です。

この順番だと、ルールは案を消すことにしか使えません。消すほど候補は減るので、最後は刺さるものまで無くなります。

今回のマシマシ版は、同じルールを、AIが考える前にスキルへ書いておきました。するとAIは、そのルールを守ったうえで新しく案を作ってきます。候補は減りません。

料理でたとえると分かりやすいと思います。「この食材は使わないで」というリストを、出てきた皿に当てても、突き返すことしかできません。同じリストを作る前にシェフへ渡せば、その食材を避けたおいしい一皿が出てきます。

同じ文章のルールでも、後から当てるか先に渡すかで、働きが真逆になるわけですね。

ただしマシマシ版が足したルールの中身は、現行版に元から入っているものとほぼ重複していました。だから質の上乗せは確認できず、AIが読み書きする量が増えたぶんだけ損という結果です。この数字の話は、次の節で正面から扱います。

数字を正直に読む

ここで、鋭いあなたはこう思うかもしれません。「マシマシ版、1回戦と2回戦を合計すると、現行版との直接対決は10勝6敗（1回戦6勝2敗、2回戦4勝4敗）で上では？」と。

正面から答えます。10勝6敗というのは、コインを16回投げて10回表が出るのと同じで、偶然でも約23%の確率で起きます。4回に1回起きる程度の差なので、「マシマシが上」とは判定できないんです。

一方の30勝2敗は、偶然で起きる確率が約800万分の1。こちらは判定できます。

で、判定できない差はどうするか。確実に測れている方で決めます。

マシマシ版は現行版より出力が3割多い、つまり処理量が確実に多いことは測れています。AI代も確実に高くつくので、実運用は現行版に軍配です。

おまけ検証: 判定はAIに任せられるのか

ここまでの判定は、全部私が自分の目でやってきました。じゃあ、この面倒なブラインド判定そのものをAIに任せたらどうなるのか。おまけでもう1つ検証をやってみました。

私が判定した48ペア全部を、私の好みを何も知らないAIにもブラインド判定させて、私との一致率を見たんです。判定には、コピーを作ったFable 5とは別のClaudeモデルであるOpus 4.8を使い、左右の並び順を入れ替えて2回ずつ聞きました。

結果、左右を入れ替えても同じ側を選んだ37ペア（並び順で答えが変わった残り11ペアは除外）で見ると、私との一致率は27%でした。あてずっぽうでも50%になるはずなので、当たらないどころか、系統的に私と逆を選んでいます。偶然でここまで逆に振れる確率は1%未満です。

内訳を見るとさらに面白くて、私がほぼ全敗させたネットの教科書版の案に、判定AIは7割近くの票を入れていました。私の好みを知らない判定者は、一般論的なきれいなコピーを選ぶわけです。

つまり、そのまま任せてもダメでした。判定を任せたいなら、判定するAIにもあなたの好み（過去の採用例や実測ルール）を教える必要がある。生成側だけでなく判定側でも、結論は同じだったんです。

この実験で測っていないこと

実験本体に戻って、正直に書いておきたい限界があります。今回測ったのは

「作者の私が採用したいか」

であって、視聴者のクリック率そのものではありません。

コピーは最終的に私が選んで世に出すので、

「私が採用したくなる案を出せるか」

はスキルの実用性能そのものです。

ただ、視聴者のクリックという出口では、教科書版が勝つ可能性も理屈の上では残っています。

出口での検証は、今後の宿題にします。

ネタばらし: この分析そのものが「メタ認知」でした

ここまでの数字の読み方、実はちょっとしたメタ落ちが仕込まれています。

このシリーズで配ってきた「メタ認知して」の4行を覚えていますか。

答えを出す前に、自分の考えを一段上から点検させるための指示でしたよね。

思い込みを自己申告する、前提を疑う、曖昧な両論併記で逃げずに根拠の上で立場を取る、といった中身です。

で、今回の分析を振り返ると、やっていたことがまさにこれなんです。

• 1回戦で「盛るほど勝ち」に見えた第一印象を、そのまま信じませんでした。「勝ったのは厚さなのか、私を知っていることなのか」と前提を疑って、2回戦を組んだわけです

• 10勝6敗という数字には「やっぱりマシマシが上」と言いたくなります。でも、コイン投げと区別できない以上、この数字は勝ち負けの根拠に使えません。だから「判定できない」とだけ言います

• そのうえで、曖昧なままでは終わらせません。確実に測れているコスト差を根拠に「実運用は現行版」と立場は決めました

判定できる差（30勝2敗）と判定できない差（10勝6敗）を仕分けして、言えることだけ言い切る。この作業そのものが、あの4行がAIにやらせようとしている思考です。

白状すると、この数字の読み方は、私ひとりでたどり着いたものではありません。Fable 5と壁打ちしながら、「この差は言い切っていいのか？」を一緒に点検して出てきた読み方です。

4行はもともと、その壁打ち相手のAIに「こう考えて」とお願いするための指示でした。今回はそれを、人間とAIの両方で回していたことになります。これがこの記事のメタ落ちでした。

あなたの常設指示とスキルで今日からできること

「効くのはあなたの固有情報」という今回の結論、スキルだけの話ではありません。ChatGPTのカスタム指示、CLAUDE.md、AGENTS.md、そして自作スキル。全部同じ「固定の指示文」です。

しかも常設指示は毎回読み込まれるぶん、一般論を消したときのAI代の削減効果は、スキルより大きくなります。

1つ正直に言っておくと、常設指示側で「削る」実測はまだしていません。足す側は第2弾で実測済みなので、同じ理屈が効くはず、という段階です。

やることはシンプルです。この5項目が、そのまま仕分けチェックリストです。

• カスタム指示かCLAUDE.mdを、まず1ファイルだけ開きます

• 1行ずつ「これは、モデルが知らないことか？」と聞いていきます

• 自分の好み、事故から学んだガードレール、ファイル名などの取り決め。この3種類に入らない行を削除候補にします

• 同じ働きの行が2つあったら、重複も削除候補にします

• 実際に消す最終判断は、AIに任せず自分でします

候補出しまでは、AIに任せてもOKです。こんなお願いの仕方になります。

ポイントは、AIの仕事を削除候補の提案までにしていることです。基準はシンプルでも、消しすぎは怖いので、最後の消す消さないは自分で決めます。

まずは1ファイル、5分で終わります。

同じチェックリストは、動画の固定コメントでも配布します。

キャッチコピー以外でも、同じ仕分けが使えます

「この基準、サムネコピー専用じゃないの？」と思うかもしれません。実験台がコピーのスキルだっただけで、仕分けの基準自体は用途を選びません。

私の場合、こんな場面で同じ仕分けをしています。

• 文章系の指示では、記事やメールの文体、一人称、使わない言い回しは「あなたの好み」なので残します。「プロらしく書いて」「読みやすくして」は、モデルが既に知っている一般論なので削除候補です

• 資料づくりの指示では、ファイル名の付け方、見出しの構成、保存先などは「取り決め」なので残します

• 失敗の再発防止では、過去にAIがやらかした操作を禁止する行は「ガードレール」なので残します

• ChatGPTのカスタム指示では、呼び方や回答の長さの好みは残して、「あなたは優秀なアシスタントです」のような役割付与の定型文は削除候補にします

動画で見たい方へ

ブラインド判定の実際の画面と、結果が開示された瞬間の「どういうこと？」というリアクションは、映像の方が圧倒的に伝わります。

動画はこちら👇️ （YouTubeリンクをアップロード後に追加）

まとめ

今回の要点は3つです。

• 効くのは指示の厚さではなく、あなたの固有情報（30勝2敗）

• 削るのは一般論と重複、残すのは好み・事故ガードレール・取り決めの3種類

• 判定できない差は、確実に測れるコストで決める

要は、AIを賢くするのは指示の量ではなく、あなたしか知らないことを教えているかどうか、なんです。

次の一歩は1つだけ。常設指示かスキルを1ファイル開いて、消していい行を探すところから始めてみてください。

この記事が参考になったら、いいねやフォローで応援してくれると嬉しいです。この実測シリーズは今後も続けるので、フォローしておいてもらえると続報を見逃しません。

あなたの常設指示やスキルで「消していいか迷っている1行」があれば、コメントで教えてください。次回の検証ネタにします。

それではまた、れん学長でした！

📢 れん学長のAIツール実験室

メンバーシップでは、この記事では書ききれなかった実験ログや、AI活用の試行錯誤をもう少し踏み込んで共有しています。

価格や参加条件、どんな内容が読めるかは、入口記事にまとめています。

気になっていた方は、まず内容をのぞいてみてもらえるとうれしいです。

👉 メンバーシップの入口記事をのぞいてみる

#AI #ClaudeCode #ChatGPT #プロンプト #カスタム指示 #スキル #CLAUDEmd #生産性向上 #AIツール