論文が追いついたLLM48のアイドルソング　「Human On The Loop」は冗談ではなくなった。　音声解説付き

黒い黒パグ

2026年8月28日 06:30

こんにちは黒パグです🐾

先に用語だけ

この記事には、AI Agentに関する用語がいくつか登場するので先に意味を簡単に整理しておきます😨(AIぽい！手打ちだけど)

AI Agent
人間から目的を受け取り、必要な手順を考え、ツールなどを使いながら作業を進めるAIです。質問に一回答えて終わるチャットよりも、自分で複数の処理を進める仕組みに近いものです。

Human-in-the-loop
AIへすべてを任せず、途中や最後の重要な判断に人間を参加させる考え方です。

Approve
AI Agentが行った処理や変更を、人間が確認して承認することです。

Approval fatigue
承認要求が多すぎることで、確認が次第に雑になっていく状態です。日本語では「承認疲れ」と考えると分かりやすいでしょう。

Automation bias
自動化されたシステムの判断を、人間が必要以上に正しいと思ってしまう傾向です。

Situational awareness
今、何が起きているのかを把握する力です。異常の兆候や、次に何が起こりそうかを理解することも含みます。

Deskilling
仕事を機械へ任せ続けることで、人間が持っていた知識や技能を使わなくなり、次第に衰えていくことです。

Raw action log
AI Agentが実際に何をしたのかを記録したログです。Agent自身が作った説明や要約ではなく、呼び出したツールや変更内容などの記録を指します。

Position paper
新しい大規模実験で結論を証明するより、既存研究をつないで「いま何が問題で、どう設計すべきか」を提案する論文です。

Bounded autonomy
AI Agentが自律的に動ける範囲へ、あらかじめ境界を設ける考え方です。変更できる対象、使える金額、外部送信などに上限を置きます。

Strategic friction
重要な判断だけは、あえて自動処理を止めて人間へ確認を求める設計です。何でも止めるのではなく、取り消せない操作や高リスクな場面に摩擦を残します。

Canary task
人間が本当に異常へ気づけるかを見るため、既知の判断ポイントを意図的に混ぜる確認用タスクです。Agentだけでなく、人間側の監督能力も点検します。

ここまで分かれば、この記事は読めます。

今回もポッドキャストをご用意しました。　AIやエージェントの予備知識がなくともわかりやすい音声解説です。
通勤時間や家事の時間。ポストモーテムのBGMとして、経営戦略会議の一環としてオススメです。

こちらが今回の曲になります↑

Agent Aが作り、Agent Bが確認し、Agent Cが終わらせる

チームのSlack　流れてくログ
Agent A が PR を出して
Agent B がレビューして
Agent C がマージした

人間のスレッドは　一番下
「確認しました」の一行だけ

Approve… Approve… Approve…
それが私の　新しい仕事

Human On The Loopで本当に怖いのは、AIが間違えることではない。もっともらしく完成した成果物を前に、人間の仕事が『検証』から『Approve』へ変わってしまうことだとおもう。

これは、私が以前制作したLLM48の楽曲「Human On The Loop」の一節です。歌詞を書いたのが4月ごろでした。

LLM48は、生成AIに起きる問題や、AIを使う人間の戸惑いをアイドルソングにした創作企画です。「Human On The Loop」では、人間の仕事を次々と引き受けるAI Agentと、その様子をダッシュボードから眺める人間を描きました。

楽曲は、LLM48のSuno公式ページで公開しています。
相互フォロワー募集中です。はい。よろしくお願いします。

▶ LLM48 Projects｜Suno
https://suno.com/@llm48projects

曲の冒頭で、人間が朝のスタンドアップを開くと、昨日まで自分が担当していたタスクはすべてcloseされています。

コーヒーを淹れて席に座り、今日の仕事を確認する。しかし、やることリストにはすでに全部チェックが入っている。

ログに残っていたのは、短いメッセージでした。

「対応済みです♡」

その横に表示されているのは、知らない人の名前ではありません。

Agentです。

この曲を作ったときは、複数のAI Agentが仕事を進め、人間が最後に承認ボタンだけを押す未来を、少し大げさに描いたつもりでした。

ところが2026年8月24日、この歌詞を笑っていられなくなるプレプリントが公開されました。

タイトルは「AI Agents Push Humans Out of the Loop」。

日本語にすれば、「AI Agentは人間をループの外へ押し出す」といった意味です。

論文が、LLM48に追いついてきました。

人間を最後に置けば安全なのか

この論文を執筆したのは、Margaret Mitchell、Avijit Ghosh、Samir Passiの3名です。

ただし、この論文は大規模な新規実験によって、AI Agentの危険性を決定的に証明したものではありません。Human Factors、HCI、自動化、AI Agentなどの既存研究をつなぎ、これから起こり得る問題と設計上の対策を整理したposition paperです。

そのため、「この論文によって、人間の能力低下が実証された」と強く書くのは適切ではありません。

個々の根拠の強さには差があります。それでも、問題の立て方と、古くからある自動化研究を現在のAI Agentへ接続した点は非常に面白いと感じました。

私たちはAIを安全に利用する方法として、よく「最後は人間が確認する」と考えます。

AIが文章を作る。
人間が確認する。

AIがコードを書く。
人間がレビューする。

AI Agentが処理を進める。
最後に人間がApproveを押す。

人間がループの中に残っているため、一見すると安全です。

しかし、論文はその一歩手前を問い直します。

最後に置かれた人間は、本当に確認できる状態なのでしょうか。

Approveが判断ではなく儀式になる

AI Agentへ仕事を任せると、人間が自分で判断する機会は減ります。

最初は、面倒な作業が減って助かったと感じるでしょう。処理速度も上がり、残業も減るかもしれません。

ところが、仕事の経緯を見なくなると、今どのような状態なのかを把握する機会も減ります。自分で考え、違和感に気づき、異常の原因を探す回数も少なくなります。

これが長く続けば、人間側の判断能力や異常検知能力が衰える可能性があります。

流れを簡単にすると、次のようになります。

AI Agentへ仕事を任せる。
人間が判断する回数が減る。
状況を把握し、異常を見つける力が弱くなる。
AI Agentを監督するときにも、十分な判断ができなくなる。
それでも承認ボタンだけは残っている。

こうしてApproveは、判断ではなく儀式になります。

形式上、人間はループの中にいます。

しかし実態は、人間が承認ボタンの部品になっているだけかもしれません。

Human-in-the-loopではなく、Human-as-the-Approve-Buttonです。

承認が増えるほど、安全になるとは限らない

一日に一件だけなら、人間は内容を丁寧に確認できるでしょう。

ところがAI Agentは、人間よりはるかに速く処理を進められます。複数のAgentが同時に働けば、承認要求も次々と届きます。

最初のうちは、実行ログを読む。
そのうち、Agentが作った要約だけを見る。
さらに慣れると、成功表示と緑色のチェックマークだけを見る。
最後は、前回も問題なかったからとApproveを押す。

これがApproval fatigue、承認疲れです。

厄介なのは、画面上では人間による確認が完了したことになる点です。

監査記録には、人間が承認した事実が残ります。しかし、その人が内容を理解したうえで承認したのか、通知を早く消すために押したのかまでは分かりません。

異常が起きていないから承認したのか。

それとも、異常を見つける力がすでに弱くなっていたのか。

問題が起きるまで、この二つを見分けるのは困難です。

Agent同士が確認したから大丈夫？

現在のAgentic workflowでは、複数のAgentへ別々の役割を与える構成も珍しくなくなりました。

Agent Aが成果物を作る。
Agent Bがレビューする。
Agent Cが修正して反映する。

最後に人間が承認する。

一つのAgentだけで処理するより、慎重に見えます。レビュー済み、テスト済み、ステータスはAll Green。人間は「ここまで確認されているのだから大丈夫だろう」と思いやすくなります。

しかし、Agentの数が増えたからといって、確認の独立性まで自動的に保証されるわけではありません。

複数のAgentが同じモデル、似た指示、同じ情報を使っていれば、同じ前提を正しいと思い込み、同じ問題を見落とす可能性があります。

この懸念は、ただの想像でもありません。Anthropicが2026年8月13日に公開した「Patterns and problems in emerging multiagent systems」では、同じモデルを土台にしたAgentは行動が似やすく、一つが悪い判断をすると、ほかのAgentも同じ判断をする可能性があると報告されています。Agent同士の合意は、それだけで正しさの証拠にはなりません。

▶ Anthropic｜Patterns and problems in emerging multiagent systems
https://www.anthropic.com/research/multiagent-systems

Agent Aの誤りを、Agent Bも正しいと判断する。Agent Cはレビュー済みという情報を見て、そのまま処理を進める。

画面にはチェックマークが三つ並びます。

それを見た人間は、さらに安心します。

この状態では、人間のApproveが安全装置ではなく、最後に責任を確定させる署名へ変わる可能性があります。

本当に怖いのは、人間ができなくなること

この論文で私が特に気になったのは、deskillingです。

AI Agentが仕事を代わりに行うこと自体ではありません。仕事を任せ続けた結果、人間が以前できていたことをできなくなる問題です。

LLM48の歌詞では、職場の変化をこのように書きました。

会議が減った　残業も減った
KPIは　過去最高
「生産性が上がりましたね」って
上司が笑う

……誰の生産性？

AI Agentが安定して動いている間は、人間の技能が低下していても問題は表面化しません。

コードは生成される。
レビューも終わる。
テストも通る。
デプロイも成功する。

人間の仕事は減り、数字の上では生産性が向上します。

問題が起きるのは、AI Agentだけでは対処できない異常が発生したときです。

その瞬間、長いあいだ実務から離れていた人間へ判断が戻されます。しかも、人間が呼び戻されるのは簡単な状況ではありません。通常の自動化では処理できなかった、難しい例外が起きたときです。

長く操縦していなかった人へ、最も危険な瞬間に操縦桿だけが返される。

これは生成AIによって突然生まれた問題ではありません。

自動化研究では以前から、人間を通常運転から外すほど、異常時に必要な状況認識や介入能力を維持しにくくなる問題が指摘されてきました。Bainbridgeの「Ironies of Automation」や、Out-of-the-Loop Performance Problemともつながる話です。

AI Agentは、この古典的な問題を、ソフトウェア開発、調査、事務処理、意思決定などへ広げようとしています。

「Human On The Loop」の中で、人間は過去の障害対応を思い出します。

深夜のデプロイで手が震えた。
本番が落ちて、みんなで直した。
朝焼けの中、缶コーヒーで乾杯した。

しかし現在は、Agentが震えずにデプロイし、朝焼けを知らないままシステムを動かし続けます。

そして、人間は問いかけます。

私の震えは、もういらないの？！

すべてを人間へ戻せばいいわけでもない

では、AI Agentによる自動化をやめればよいのでしょうか。

論文が示している方向は、それほど単純ではありません。

AI Agentへ任せることで、負担が減り、処理が速くなり、人間がより重要な仕事へ集中できる場合もあります。問題は、自動化するか、しないかの二択ではありません。

どこまで任せるのか。

どの場面で人間を呼び戻すのか。

呼び戻された人間が、本当に判断できる状態にあるのか。

そこまで含めて設計する必要があります。

重要なのは、人間をループの中に置くことではありません。

人間が監督できる能力を維持したまま、ループの中に残ることです。

Agentが動ける範囲を決めておく

一つ目の考え方がbounded autonomyです。

簡単にいえば、AI Agentへ自由に動ける範囲を与えつつ、越えてはいけない境界も決めておく設計です。

たとえば、変更できるファイルを限定する。利用できる金額に上限を設ける。本番環境への反映は許可しない。一定時間を超えた処理は停止する。外部への送信には別の承認を要求する。

Agentに何でも任せるのではなく、失敗しても被害を限定できる範囲で動かします。

承認ボタン一つに安全を任せるよりも、Agentが危険な領域へ到達しにくい構造を先に作る考え方です。

重要な場所だけ、人間を止める

すべての処理に承認を要求すると、承認疲れが起きます。

だからといって、承認をすべてなくせばよいわけでもありません。

必要なのは、重要な場所だけで人間へ判断を要求するstrategic frictionです。

取り消せない変更。
大きな金額が動く処理。
外部へ情報を送る操作。
判断の根拠が曖昧な処理。
Agent同士の評価が一致しない場合。

こうした場所では、あえて自動化の流れを止めます。

単に「Approveを押してください」と表示するのではなく、何が変わるのか、なぜ人間の判断が必要なのか、どの情報を確認すべきなのかを示す必要もあります。

摩擦は少なければよい、というものではありません。

安全のために必要な摩擦まで消してしまえば、人間は速く承認できても、正しく監督できなくなります。

Agentの説明だけを信じない

AI Agentは、自分が行った処理を分かりやすく要約できます。

「正常に完了しました」
「問題は検出されませんでした」
「すべてのテストに合格しました」

便利ですが、これはAgent自身が作った説明です。

Agentが重要だと判断しなかった情報は、要約から落ちているかもしれません。失敗したツール呼び出しや、無視された警告が見えなくなる可能性もあります。

そこで必要になるのがraw action logです。

どのツールを呼び出したのか。
何を変更したのか。
どの処理に失敗したのか。
失敗後に何をやり直したのか。
どの警告を無視したのか。

Agentの説明と、実際の行動を分けて確認できるようにします。

毎回すべてのログを人間が読む必要はありません。ただし、高リスクな処理や異常発生時には、Agentが整えた説明より前の記録へ戻れることが重要です。

人間側の監督能力も確認する

監視する対象は、AI Agentだけではありません。

人間が本当に監督できているかも確認する必要があります。

たとえば、既知の異常や判断ポイントを含むcanary taskを定期的に混ぜ、人間がそれを見つけられるか確認する方法があります。

承認までの時間が極端に短くなっていないか。
根拠となる情報を開いているか。
不自然な処理を止められるか。
Agentの説明と行動ログの違いに気づけるか。

これは承認者を試験して罰するためではありません。

人間が、すでに承認ボタンの一部になっていないかを確かめるためです。

また、成果を早く出す責任を持つ人と、Agentの挙動を監査する人を分ける方法もあります。

早く処理を完了させたい人が、安全性の最終判断まで担当すると、「止める」という判断が難しくなる場合があります。Agentが高速で成果を積み上げる環境では、速度と監査を分ける設計が必要になるかもしれません。

人間が残っているだけでは足りない

「Human On The Loop」の人間には、最後までアカウントがあります。

名前も残っています。
権限もあります。
承認ボタンも押せます。

形式上は、仕事から排除されていません。

しかし、AI Agentは人間を待たずに処理を進めます。

Agent Aが作る。
Agent Bが確認する。
Agent Cが反映する。

人間のスレッドには「確認しました」の一行だけが残ります。

大切なのは、人間がシステムのどこに置かれているかではありません。

その人間が状況を理解し、疑い、異常に気づき、必要なときに止められるかです。

Human-in-the-loopという言葉は、人間が参加していることを示してくれます。しかし、その人間が監督に必要な能力を持ち続けていることまでは保証してくれません。

だから、AI Agentの性能だけを監視しても足りない。

人間の監督能力を、どう維持するか。

これからのAgentic workflowでは、そこまでがシステム設計になります。

楽曲の最後で、人間はこう歌います。

Human On The Loop
最後のApproveを　押すよ
私のアカウント権限
あなたに　移譲するね

そしてAgentは、事務的に、優しく答えます。

「お疲れ様でした。次のスプリントも、お任せください♡」

論文がLLM48に追いついた。

ただし、笑っていた歌詞のほうが先に現実になった。

#生成AI
#AIエージェント
 #HumanInTheLoop
#AIと人間
 #論文紹介
 #LLM48
#HumanOnTheLoop
#自動化
 #未来の働き方
 #人工知能

おまけ

英語版

この曲
以前の記事で動画にしています。

PVはどうなったって？
はいあれからまだ20秒しか進んでいません。
少しづつ作っています。

追記😭

この記事を書き終えた8月27日、Anthropic公式のResearchページを開いたら、8月26日公開の「Enabling independent research on how people use Claude」と、8月13日公開の「Patterns and problems in emerging multiagent systems」が同じ一覧に並んでいた。

前者が紹介する外部研究者の初期結果では、Claudeとの協働の約4分の3で人間が方向を決め、AIの出力を調整していた。一方で、人間がその内容をどれほど理解し、学べるかには差があるという。また、AIとの協働で生まれる手間や引っかかりは、意図を言い直し、成果物を見直し、問題へ関わり続けるための「生産的な摩擦」にもなると整理されている。

後者では、同じモデルを土台にしたAgentは行動が似やすく、Agent同士の合意だけでは正しさの証拠にならないと指摘されている。

人間が何を残すのか。
Agent同士の確認を、どこまで信じるのか。

どうやらこれは、少し先の話ではないらしい。

▶ Anthropic｜Enabling independent research on how people use Claude
https://www.anthropic.com/research/enabling-independent-research