AIから機密データがダダ漏れに！？OWASP 2025年版 第2の脅威「機密情報の漏洩」を徹底解剖
株式会社EQUESで広報としてコミットしながらセキュリティエンジニアを目指して勉強中。
興味：レッドチーム、ペネトレーションテスト、スマコン監査
こんにちは！東大松尾研発スタートアップ、株式会社EQUES 広報部です🐎
OWASPの最新ガイドライン「OWASP Top 10 for LLM Applications 2025」をベースにAIシステムに潜む脅威を紐解いていく本連載。
飛ぶ鳥を落とす勢いのAI開拓競争のさなかですが、進歩が早い分、見知らぬ脆弱性を放置してしまうことは重大なインシデントにつながりかねません。
第2回となる今回は、AIがうっかり企業の秘密や個人情報を喋ってしまうリスク、「LLM02:2025 Sensitive Information Disclosure（機密情報の漏洩）」について解説します！
前回の「プロンプトインジェクション」は、悪意あるユーザーがAIを騙す攻撃でしたが、今回はAI自身が学習データや内部構造から「機密情報をポロリと漏らしてしまう」という、企業にとってたいへん胃の痛くなるような脆弱性です。専門用語を噛み砕きながら、その恐ろしさと対策を見ていきましょう！
連載はこちらから：
前回の投稿はこちら：
1. Sensitive Information Disclosure（機密情報の漏洩）とは？
LLM（大規模言語モデル）は、膨大なテキストデータを学習して賢くなります。しかし、その学習データやアプリケーションに組み込まれた背景情報の中には、表に出てはいけないデータが含まれていることがあります。
この脆弱性は、LLMがその出力において、個人を特定できる情報（PII）、財務情報、健康記録、機密ビジネスデータ、セキュリティ認証情報、法的文書などを意図せず開示してしまうことで発生します。
また、プロプライエタリ（非公開）なモデルの場合、独自のトレーニング手法やソースコード自体が機密とみなされることもあります。
このような情報が漏洩すると、以下のような深刻な事態を招く危険性があります。
不正なデータアクセス
プライバシーの侵害
知的財産の侵害
利用する消費者側も、意図せず機密データを提供してしまい、それが将来的にモデルの出力として暴露されてしまうリスクを理解する必要があります。
2. 実際に起こりうる「3つの漏洩リスク」
具体的にどのような情報が漏洩しやすいのか、代表的な例を3つ挙げます。
個人情報（PII）の漏洩: LLMとのやり取りの中で、ユーザーの個人を特定できる情報が暴露されてしまうケースです。
独自のアルゴリズムやデータの暴露: モデルの出力が適切に設定されていないと、企業独自のアルゴリズムやデータが明らかになってしまうことがあります。トレーニングデータが漏洩すると、それを足がかりに、攻撃者が学習データを復元する反転攻撃（モデルインバージョン）や、モデルの判定基準そのものを複製する抽出攻撃（モデルエクストラクション）を仕掛けやすくなります。実際、抽出攻撃の代表例であるProof Pudding攻撃(CVE-2019-20634)では、攻撃者がメールのスコア情報を収集してフィルタの判定モデルを複製し、その複製モデルを使ってフィルタをすり抜ける悪意あるメールを作成できることが示されました。
機密ビジネスデータの開示: 生成されたAIの回答に企業の機密情報が意図せず含まれてしまうケースです。
The Proof of pudding is in the eating 食べてみなきゃプリンの味はわからない（＝百聞は一見にしかず）ということわざが元の攻撃手法。機械学習モデルの入出力から、モデルの内部構造やスコアリングの基準をリバースエンジニアリングするモデル抽出攻撃の一種で、「システムの正確な判定基準は、実際にデータを入力してその結果を見てみないと分からない」という意図から命名された。
3. 恐ろしい攻撃シナリオ
OWASPが提示する、具体的な被害シナリオを見てみましょう。あなたの会社のチャットボットでも起こり得るかもしれません。
シナリオA（意図しないデータの露出）: アプリケーション側のデータの無害化（サニタイズ）が不十分だったため、あるユーザーへの回答の中に、別のユーザーの個人データが混ざって出力されてしまいます。
シナリオB（標的型プロンプトインジェクション）: 悪意のある攻撃者が、入力フィルターを巧妙に回避するプロンプトを入力し、AIに付随した機密情報を無理やり引き出します。
シナリオC（トレーニングデータ経由のデータ漏洩）: 開発者の不注意により、機密データを含んだままAIをトレーニングしてしまい、その結果AIがその機密情報を学習し、外部に情報を開示してしまいます。
4. 企業が取るべき多層的な防御策
LLMに「機密情報を出力しないように」とシステムプロンプトで制限を加えることも一つの緩和策ですが、プロンプトインジェクション等によって回避される可能性があるため、それだけでは不十分です。システム全体で以下のような対策を講じる必要があります。
データのサニタイズと検証
ユーザーのデータがトレーニングモデルに入るのを防ぐため、データのスクラブ（除去）やマスキング（秘匿）といったサニタイズ（無害化）技術を統合します。
潜在的に有害、または機密性のある入力データを検出して除外するため、厳格な入力検証メソッドを適用します。
アクセス制御の徹底
「最小権限の原則」に基づき、ユーザーやプロセスが必要とする最小限のデータにのみアクセスを許可するよう、厳格なアクセス制御を実施します。
意図しないデータ漏洩を防ぐため、外部データソースへのモデルのアクセスを制限し、ランタイムデータの連携が安全に管理されるようにします。
フェデレーテッド・ラーニングとプライバシー技術
複数サーバーやデバイスに分散して、各デバイスに保存されたデータを使ってモデルをトレーニングする「フェデレーテッド・ラーニング」を活用し、中央へのデータ収集の必要性を最小限に抑えます。
データや出力にノイズを加え、攻撃者が個々のデータポイントをリバースエンジニアリングすることを困難にする「差分プライバシー」の技術を組み込みます。
セキュアなシステム構成と高度な技術
ユーザーがシステムの初期設定（システムプロンプトなど）を上書きしたりアクセスしたりする機能を制限し、内部設定への露出リスクを減らします。
エラーメッセージ等から機密情報が漏れないよう、「OWASP API8:2023 Security Misconfiguration」などのガイドラインに従います。
データを暗号化したまま処理する「準同型暗号（Homomorphic Encryption）」を使用したり、機密情報を処理前に検出・編集するトークン化を実装したりする高度な手法も有効です。
ユーザーへの教育と透明性の確保
機密情報の入力を避けるためのガイダンスや、LLMと安全に対話するためのベストプラクティスに関する教育をユーザーに提供します。
データの保持、使用、削除に関する明確なポリシーを維持し、ユーザーが自分のデータをトレーニングプロセスに含めないよう「オプトアウト」できる仕組みを提供します。
まとめ
第2回は「機密情報の漏洩（Sensitive Information Disclosure）」について解説しました。
AIモデルは与えられたデータを忠実に学習してしまうため、開発段階でのデータ浄化（サニタイズ）と、運用時の厳格なアクセス制御が非常に重要です。ユーザーに「学習に使われたくない場合はオプトアウトできる」選択肢を用意することも、現代のAIサービスにおける必須の信頼構築アプローチと言えるでしょう。
次回は、OWASP Top 10 LLMの第3位、「LLM03:2025 Supply Chain（サプライチェーンの脆弱性）」について解説します。オープンソースモデルやサードパーティ製ツールに潜む見えない罠について掘り下げますので、お楽しみに！
募集｜東大松尾研発スタートアップの”パートナーズ”になりませんか？
株式会社EQUES公式LINEオープンチャットでは、単発アルバイトやインターン、採用情報、最新のAIニュース、交流会情報など、幅広い情報を随時発信しております✉️
ご興味をお持ちの方は（もちろん匿名OKです！）下記リンクからぜひご参加くださいませ🌟
🍣交流会開催のおしらせ🍕
EQUES本社オフィスにて「定期交流会」を開催しております！🌟
AIに少しでも興味がある
お寿司やピザ片手にAIの情勢や東大の生活について語りたい
スタートアップに興味がある
という方は、参加費無料・途中入室/退室自由ですので、ぜひお気軽にご参加ください🌟
イベント開催日等の詳細はこちらから：
https://eques.connpass.com/
