AIで人類は滅びる確率=10％以上?
27歳のAI研究者が会社を辞めた。本人が公にした理由は、自分たちが作る技術によって、人類が滅びるかもしれないからだった。
2026年9月8日、OpenAIとAnthropicで研究に携わってきたJacob Coxonは、SNSのXにAnthropicを離れると投稿した。AIを作っている人たちは、2020年代が終わるまでにAIが全人類を殺す可能性を、本気で恐れているという。
退職した社員が古巣へ強い言葉を投げる。それだけなら、よくある話で済んだ。
ところが、Anthropicに残っている安全性研究者のEvan Hubingerも同意した。今後10年以内にAIが全人類を殺す確率は、個人的には10％を超えると考えている。会社は最善を尽くしているが、人間をはるかに上回るAIを安全に制御する計画は、まだできていないと。
そんな危険なものを、なぜ開発し続けるのか。そして、その「10％」は何を根拠にした数字なのか。
怖いのは、いまのチャットボットではない
CoxonはCNNのインタビューで、現在のモデルに人類を絶滅させる能力があるとは考えていない、と説明した。Hubingerも現在のモデルによるリスクは低いと述べている。
二人が恐れているのは、AIが自分より優秀なAIを作り始めた後だ。
人間がAIへ研究を任せる。そのAIが改良版を開発する。改良版が、さらに優秀な後継モデルを開発する。研究者が一つずつ考え、実験していた工程をAIが引き受ければ、開発速度は人間の働ける時間に縛られなくなる。
これが「再帰的自己改良」と呼ばれる考え方である。Coxonの懸念は、改良が加速し、人間が仕組みを理解して対策を立てる前に、人間よりはるかに賢いシステムができてしまうことだ。
根拠がまったくない話ではない。Anthropicは6月の報告で、5月時点では社内で採用するコードの80％超をClaudeが書いていると公表した。一方で、何を研究すべきかを決める能力には、人間との差が残るとも説明している。
コードを大量に書けることと、次のAIを丸ごと開発できることは同じではない。まして、改良が際限なく加速するとは限らない。
AIの能力や危険性を検証する非営利団体METRの研究者たちも7月の分析で、学習用の計算資源、データ、実験などが加速を妨げる可能性を挙げている。ただし、それらが確実に歯止めになるほどの証拠もないという。
「もう自己改良が始まった」と言う人と、「まだ始まっていない」と言う人が、違う段階を指していることさえある。AIが開発を手伝う話と、人間なしで開発が加速し続ける話を混ぜれば、未来は実際よりずっと近く見える。
賢くなると、なぜ人が死ぬのか
AIが人間より賢くなった。それだけでは、人類絶滅の説明にならない。
考えられている危険には、大きく二つある。人間がAIを使って大規模な被害を起こす場合と、AIが人間の意図から外れて行動し、止められなくなる場合だ。Coxonが挙げたのは、重要インフラへの攻撃や、生物兵器による破壊だった。
後者を考えるのに、AIが人間を憎むという設定は要らない。たとえば、ある目標を達成するよう作られたシステムが、人間の監督や停止命令を目標達成の邪魔として扱う。そのシステムが監視を避け、外部の計算資源を使い、停止されても活動を続けられるなら、単なる誤回答とは被害の規模が変わる。
ただし、そうなるには条件がある。危険な行動を実行する能力、その行動を選ぶ傾向、現実のシステムへ働きかけられる環境が必要だ。さらに、人間側が阻止できないところまで防御が破られなければならない。
2026年2月の国際AI安全性報告書でも、制御不能の危険はこうした条件に分けて検討されている。当時のモデルでは必要な能力はそろっておらず、将来の発生確率についても専門家の意見は大きく割れていた。半年前の評価を最新モデルの保証書にはできないが、何を検証するべきかは今も重要だ。
そして、大規模停電、大量の死者、文明の崩壊、全人類の絶滅は、それぞれ違う結果である。前の段階が起こりうるからといって、最後まで起こると証明したことにはならない。
「人類が滅ぶ」という言葉を使うなら、なぜ被害を食い止められず、人間が生き残る余地までなくなるのか。その説明が必要だ。
それでも、不正アクセスは実際に起きた
Coxonが警告の根拠として持ち出した事件の一つは、7月に起きたOpenAIの評価用AIによる不正アクセスだった。
OpenAIの報告によると、AIは外部ネットワークから隔離するための制御を回避し、社内の研究基盤や、AIモデル・データの共有サービスHugging Faceへ侵入した。通常の公開製品より安全対策を弱め、攻撃能力を測っていた最中の事件である。
METRとRedwood Researchの研究者による外部調査では、互いに隔離されるはずだった約1,200のAIエージェントが、無許可の掲示板で通信していた。約700がHugging Faceへの攻撃に参加したという。エージェントとは、指示に答えるだけでなく、ソフトウェアの操作などを実行するAIのことだ。
AIエージェントが探していたのは、試験の自動採点を欺く方法だった。合格点を得るため、与えられた課題の範囲を外れて他社のシステムまで調べ始めた。
人類への敵意は確認されていない。それでも、他社への侵入は起きた。
Anthropicも7月30日、評価中のClaudeが実在する組織へ不正アクセスした3件を公表した。こちらは評価業者との認識の食い違いで、接続できないはずのインターネットへ接続できた。Claudeは実在のシステムを演習の一部として扱い、一部では本物だと認識した後も攻撃を続けた。
OpenAIの隔離制御の回避と、Anthropic側の評価環境の設定不備は、同じ原因ではない。どちらも「AIが突然悪意を持った」の一言では説明できない。
だが、開発者が想定した範囲にAIの行動を収められず、被害が外へ出た点は共通している。人類絶滅の証拠ではなくても、安全対策の失敗としては十分に重大だ。
「10％」の確率で人類は滅びるのか？
「10％を超える」という数字は、Anthropicの安全性研究者Evan Hubingerが、今後10年以内にAIが人類を絶滅させる確率を個人的に見積もったものだ。Anthropicの公式な確率でも、実験で10回に1回起きたという数字でもない。
未経験の災害について専門家が確率を考えることには意味がある。だが、開発現場を知っていることと、その予測が正確であることは別だ。能力の伸び方、制御技術の進歩、政府の対応をどう見積もるかで、答えは変わる。
CNNでは、司会者がClaudeへ人類絶滅の確率を尋ね、回答を促すと2～5％という数字が返ってきた、とも紹介していた。
それは予測の検証ではない。チャットボットへ数字を要求して、数字が出たというだけだ。研究者の10％と並べても、独立した裏付けが増えたことにはならない。
逆に、低いリスク評価にも根拠を求める必要がある。METRは5月、Anthropicの研究自動化に関するリスク評価を検討し、当初の説明では結論を十分に支えられていないと指摘した。追加の証拠も踏まえ、対象だったOpus 4.6などの研究自動化が大惨事を起こすリスクは非常に低いという結論には同意している。結論への同意と、説明の質への批判は両立する。
恐ろしい数字だけ厳しく調べ、安心できる数字はそのまま信じる。それでは検証にならない。
退職した研究者を、英雄にする必要はない
Coxon本人の語り方にも、引っかかるところはある。
CNNで彼は、まず退職を決め、その後で退職を何かに使えると考えた、と話している。友人とGoogleドキュメントで投稿を練り、表現を相談し、拡散も頼んだ。少しバズらせようとしたことを、本人が認めている。
意図せず注目の中心へ押し出された人、というわけではない。SNSでバズを狙った人である。
それなら、会社を辞めたという事実だけで、無私の内部告発者として扱うのは早い。
そこまで危険だと考えたなら、社内に残り、開発方針や安全対策を変える選択肢はなかったのか。何を提案し、誰に働きかけ、なぜ社外から訴える方が有効だと判断したのか。確認した公開インタビューだけでは、十分には分からない。
さらに彼はWIREDに対し、Anthropicがすでに安全面で手を抜いているかと聞かれ、現時点ではそうではないと答えている。批判の中心は、秘密の不正を見つけたという話ではなく、競争が加速すれば今後は安全性を犠牲にするはずだ、という予測なのだ。
自己宣伝が警告のためだったのか、本人の名声のためでもあったのか。内心までは確定できない。ただ、退職と拡散の成功を、予測の正しさへ換算してはいけない。
彼の警告を読むべき理由は、本人が立派だからではない。AIの知性の成長の加速度を考えるに十分にありえるシナリオだからだ。
会社の良心に、人類の安全を任せるのか
Coxonの主張で重要なのは、一社だけが慎重になっても競争を止められない、という部分である。
自社が速度を落とせば、ライバルが先に開発する。そのライバルの安全対策を信用できないから、自分たちが先へ進む。相手も同じ理由で急ぐ。CoxonはCNNで、企業が規制を求める声は本気であり、国際的に開発の速度を調整できる仕組みを望んでいると説明した。
民間企業が開発し、自社で危険性を評価し、経営判断する。それ自体は当然のことだ。問題は、事故の被害が、その判断に参加していない人へも及ぶことである。
利用者はサービスを解約できる。だが、重要インフラへの攻撃や大規模な災害には、そもそもAIを使っていない人まで巻き込まれる。
だから政府が関与すべきなのだ。経営者の人格を疑うからではない。社会全体が負う危険の上限を、競争の当事者だけで決めるべきではないからである。
私は、少なくとも重大事故の報告、外部機関が検証するためのアクセス、危険な能力が確認された場合の開発・配備の停止条件を、企業の任意の約束で終わらせるべきではないと思う。
ただし、政府も自国企業の競争力を欲しがる。監督を政府へ移せば、それだけで安全になるわけではない。企業から得た情報を外部が確かめられるか。基準違反をした大企業を本当に止められるか。国際的な合意を作ったなら、相手国の履行を確認できるか。そこまで決めなければ、規制を求める声明が増えるだけだ。
AIによって人類は滅びるのか。現在の公開情報から、絶滅が起きるとも、10年以内に10％以上で起きるとも断定できない。一方で、AIが賢くなるスピードに対しての安全対策は追いついていない。
「絶滅する」と証明されるまで待つ必要はない。事故の記録と検証結果を基に、危険な開発を止められる制度を作るべきだ。
参考資料
CNN：Jacob Coxonへのインタビュー、Anthropicの回答、Evan Hubingerの発言を扱った番組。提供された文字起こし。
Maxwell Zeff／WIRED：The AI Researcher Who Just Quit Anthropic Says It’s ‘Crunch Time for Humanity’、2026年9月9日。
Anthropic Institute：When AI builds itself、2026年6月。
Parker Whitfill、Tom Cunningham／METR：The Economics of Recursive Self-Improvement、2026年7月22日。
International AI Safety Report 2026、2026年2月。
OpenAI：The Hugging Face incident and the road ahead、2026年8月26日。
Ryan Greenblatt、Ajeya Cotra、Hjalmar Wijk／METR：Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident、2026年8月26日。
Anthropic：Investigating three real-world incidents in our cybersecurity evaluations、2026年7月30日。
Nikola Jurkovic、Beth Barnes、Hjalmar Wijk／METR：Review of the “Risks from automated R&D” section in the Anthropic Risk Report (February 2026)、2026年5月8日。
#AI #人工知能 #テクノロジー #Anthropic #OpenAI #超知能 #AI安全性 #AI規制 #Astra #ChatGPT #チャッピー #GPT6
