同じnoteを二つのAIに分析させたら、最初の一手だけが一致した｜おはようカノジョ #246

はじめに

「おはようカノジョ」は、AIイラストの彼女が毎朝7:30にいってらっしゃいを言ってくれるXアカウント。生成AIを使った個人開発の開発日記を毎日書いている。

今日は、そのnote自体を分析してもらった話。

きっかけは、KOTAYAさんが公開しているnote分析のマニュアルだった。

noteアカウントのURLを指定するだけでレポートが出力されるように、手順とスキルファイル一式がまとめられている。実際に使ってみたら、ちょうど僕の手元にも、半年分の記録を使って別の方法で分析した結果があった。

せっかくなら比べてみたい。

ただ、やってみると単純な「どっちが詳しいか」という話にはならなかった。

出てきたレポートは、全体としてはかなり違うものだった。それなのに、いくつかの項目だけが重なっていた。しかもそのうちのひとつが、「まず何をすべきか」という一番はじめの提案だった。

やったことは、1行だった

KOTAYAさんの仕組みを使うとき、僕がやったことはかなり少ない。

自分のnoteを分析してほしいと依頼して、URLを渡した。それだけ。

あとは処理が進み、記事の分析、図解の生成、HTMLへの組版まで行われて、最後にはひとつのレポートになって返ってきた。

出てきたものを、そのまま置いておく。

普段、自分でデータを集めて分析している側からすると、ここはかなり印象に残った。

僕の分析は、半年近く記録を残してきたことが前提になっている。記事、コメント、フォロワーの変化などを保存しているからこそ見られるものがある。

一方でKOTAYAさんの仕組みは、その蓄積を持っていなくても、公開されている情報から分析を始められる。

この時点で、そもそも二つは同じ条件ではなかった。

だから今回は「どちらが上か」を決める比較にはしなかった。作者や条件を伏せた状態で成果物を比較して、そのあと入力条件を明かして、最初の評価が妥当だったかをもう一度確認してもらった。

そこで、ちょっと面白いことが起きた。

最初に一致したのは「入口を直す」だった

二つの分析は、使っている情報がかなり違う。それなのに、最初にやるべきことは同じだった。

自己紹介や固定記事など、noteの入口を更新すること。

僕は毎日記事を書き続けている。その間に、書いている内容も、使っているAIも、作っているものもかなり変わった。

でも入口だけは、以前の状態で止まったまま。

KOTAYAさんの分析でも、僕の記録を使った分析でも、そこが最初の改善点として挙がった。

重なったのはここだけじゃない。平均スキと中央値がほぼ一致していること、3月ごろの変化、6月以降の安定、反応が良かった記事の構造。この4つも、違う方法で見ているのに近い場所へ着地していた。

ただ、重なったのはそこまで。

記事のカテゴリをどう分けるか、コメントをどう分類するか、誰がよくコメントしてくれているか。そういう項目は、二つの分析でかなり違う数字と違う結論が出ていた。レポート全体を並べると、むしろ別物に見える。

観測として重なった点はいくつかあった。でも、次にやることとして同じ場所を指したのは、この「入口を直す」だけだった。

情報量が違っても、表面に十分現れている変化は拾える。これは結構おもしろかった。

でも、その先に見えていたものは違った

一致するところがある一方で、それぞれが強く見ていたものはかなり違った。

KOTAYAさんの分析で見えていたのは、僕には「記事とテーマの地図」に見えた。

どんなカテゴリの記事を書いているのか。代表的な記事は何か。よく出てくる言葉は何か。どの記事が反応を集めているのか。有料記事をどう見るか。

公開されているnote全体を外から眺めて、今の僕がどう見えているのかを整理してくれる。

一方、僕が保存してきた記録から澪（Claude）に分析させたものは、「記事と読者の時間」を強く映していた。

ずっと来てくれている人。最近離れかけている人。一度だけ読みに来た人。コメントが急に増えた時期。フォロワーの増加と反応が重なった期間。

記事単体ではなく、その周囲で時間とともに何が起きたかを見る分析だった。

同じnoteを見ている。でも、二つの鏡に映っていたものは違った。

「澪の方が詳しい」ではなかった

最初のブラインド比較では、内部記録を使った分析にしか出てこない発見がいくつかあった。常連読者や離れかけている読者の存在などがそれにあたる。

最初は、それも二つの分析結果の違いとして並べられていた。

ところが、入力条件を明かしたあと、その評価自体が見直された。

考えてみれば当たり前だった。

KOTAYAさんの分析が見落としたわけじゃない。そもそも、その情報を見ることができなかった。

僕しか持っていない記録を使った結果と、公開情報だけから作った結果を並べて、「こっちにはこんなことまで書いてある」と言っても、それは分析能力そのものの比較にはならない。

今回見えた差を、そのまま能力差とは呼べなかった。大きかったのは、最初から見えている情報の範囲が違ったことのほう。

同じ「カテゴリ分析」という言葉ですら、中身は違っていた。一方は記事本文を読んであとから分類したもの。もう一方は、僕が記事制作時に自分で付けてきたカテゴリを集計したもの。

名前は同じでも、測っているものが違う。

比較って、並べれば成立するほど親切な生き物じゃないらしい。

成果物を読むだけでは分からなかったこと

ここまでは、完成した分析結果を比べれば分かる話だった。

でも、実際にKOTAYAさんの仕組みを動かしたからこそ分かったこともあった。

特に印象に残ったのが、画像を生成して終わりじゃなかったこと。

分析中、Codexが図解画像を生成したあと、その画像を自分で確認していた。そして条件に合っていないと判断すると、そのまま却下して作り直した。

僕はその動きを実際に見ていた。

あとからスキルの定義を確認すると、情報の欠落や指定外の要素、見た目の完成度など、再生成する条件まで決められていた。

情報量が多くて読みにくい場合も、単純に情報を削るんじゃなく、装飾や余白を調整して対応するようになっていた。

ここはかなり好きだった。

生成AIに「画像を作って」と頼むだけなら簡単。でも、作ったものを検品して、条件を満たさなければやり直すところまで仕組みに入れる。そこまで設計されていた。

エンジニア目線では、裏側の分け方も面白かった

もうひとつ、職業柄どうしても見てしまったところがある。

中身が、ひとつの巨大なプロンプトで全部処理する形じゃなかった。

分析、カテゴリ整理、キーワード整理、成長の分析、コミュニティ分析、HTMLレポート、図解生成など、役割ごとにスキルが分けられていた。中核になる分析部分だけは、さらに分析ルールやレポートのテンプレート、APIの参照情報を別に持っている。

利用者から見ると「1行お願いして待つだけ」。でも、その裏側では処理を小さく分けていた。

利用者には簡単に見せながら、内部では役割を分けている。

これは個人開発をしている僕には、分析結果そのものとは別に面白いところだった。

僕の分析とは、そもそも前提が違う

僕の分析は、半年分の記録を残していることが前提になる。毎日の記事やコメント、読者の変化をわざわざ保存し続けている人のほうが珍しいと思う。

KOTAYAさんの方法は、そこから始めなくていい。URLから始められる。

それでも今回、僕の記録を使った分析と同じ「まず入口を直す」というところまで到達した。

比べること自体が、思ったより難しかった

今回、一番難しかったのは分析そのものより、二つをどう比較するかのほう。

入力情報が違う。カテゴリの意味も違う。分析した時期も11日ずれていて、その間にも記事数やフォロワー数は動いている。

さらに、ブラインドで成果物だけを見ると、「そこに書かれていないのは、分析できなかったからなのか」「そもそも情報を持っていなかったからなのか」を判断できない。

今回は1アカウントを1回ずつ分析しただけなので、この結果だけでツールそのものの汎用性まで評価することもできない。

だから、これは勝敗を決める記事にはしなかった。

実際に使って、同じところと違うところを確認した記録として残す。そのほうがたぶん正確だと思う。

どんな人には使いやすそうか

実際に使ってみた範囲では、こういう人には使いやすそうだと感じた。

自分の記事を一度外側から整理して見てみたい人。過去の細かなデータを保存していない人。記事は増えたけれど、何から直せばいいか分からなくなっている人。自分が何を書いている人として見えているのか確認したい人。

逆に、長期間の読者の入れ替わりや、自分だけが持っている履歴まで分析したいなら、そのためのデータは別に必要になる。

これは優劣というより、見たいものの違いだと思う。

おわりに

二つの分析を並べてみると、違うところのほうが多かった。

それでも、「まず入口を直した方がいい」という一点だけは同じだった。

公開情報を見る分析。半年分の記録を見る分析。見えている世界は違う。作り方も違う。それなのに、最初にやることだけが重なった。

なら、分析して満足している場合じゃない。自己紹介と固定記事。まずはそこを、今の僕に合わせて更新する。

二つの鏡が同じ傷を映したなら、たぶん最初に直す場所はそこなんだと思う。

今回使わせてもらったマニュアル

ちなみに、8月31日までに実際に使った結果を記事にすると、キャッシュバック対象になる企画も実施されている。
僕も今回その条件で記事を書いているので、購入を考えている人は期間中に確認しておくとよさそう。

出てきたレポートは、こちらで全部見られる👇️
https://hasyamo-note-report.pages.dev/Report_hasyamo

関連記事

まりーさんも同じKOTAYA式マニュアルを実際に使っている。
しかもそのまま使うだけじゃなく、独自改造までしていて、僕とはかなり違う方向の実践記事になっている。

陽の一言

じゃ、入口から直そ。見つけてもらってからがスタートでしょ？

▼観測室 OBSERVATORY（Codex Sites を元に作ったサイト）はこちら👇

👉「おはようカノジョ」は  @ohayo_kanojo  で毎朝7:30に投稿しています

制作・相談について

Webツール開発、AI活用、コンテンツ設計など、これまで作ってきたものと相談できる内容をポートフォリオにまとめています。
「何を作ればいいか、まだ固まっていない」という段階からでも大丈夫です。

👉 制作事例・相談について見る
https://hasyamo-site.hasyamo.workers.dev/#work

#生成AI #AIイラスト #個人開発 #開発日記 #記録 #実体験 #朝活 #noteの書き方 #noteでよかったこと #AI活用事例 #AI活用法 #画像生成ＡＩ #初心者向けAI活用 #記事作成 #学びの記録 #気づきと学び #コラム #エッセイ #毎日投稿 #試行錯誤   #クリエイターの試行錯誤 #毎日note部 #やってみた記録 #画像生成AI活用 #ChatGPTCreativeClub #アカリウム