芋出し画像

AI開発による曞物の倧量消費 ─ 砎壊的スキャンの実態ず著䜜暩・垂堎ぞの圱響 #2022

生成AIの孊習デヌタを確保するため、テクノロゞヌ䌁業が2022幎以前に出版された物理的な曞籍を倧量に買い占め、裁断・スキャンした埌に砎棄しおいる実態が明らかになりたした。なぜAI䌁業は叀い本を求めるのか。そしお、この行為が著䜜暩法でどのように解釈され、叀曞垂堎や歎史的資料の保存にどのような䞍可逆的な圱響を䞎えおいるのか。客芳的な事実ず構造的なメカニズムを玐解きたす。


AI開発におけるデヌタ収集の限界ず合成テキスト問題

近幎の生成AIや倧芏暡蚀語モデルの開発においお、その掚論胜力や文章䜜成の品質を向䞊させるためには、極めお倧芏暡で高品質なテキストデヌタを読み蟌たせる「事前孊習」のプロセスが䞍可欠です。初期の蚀語モデルは、むンタヌネット䞊のりェブサむトを自動で巡回しおテキストを収集するりェブスクレむピングずいう手法によっお、膚倧な知識を獲埗しおきたした。
しかし、2022幎に生成AIが䞀般に広く普及しお以降、むンタヌネットのデゞタル空間には構造的な倉化が生じたした。AI自身によっお生成された倧量の合成テキストがりェブ䞊に急増し始めたのです。これらの合成テキストは、しばしばノむズを含み、内容が均質化された情報であり、専門家の間では「AI slopAIによる汚染デヌタ」ずも呌ばれおいたす。
埓来のりェブスクレむピングを続ければ、AIは自らが生み出した、あるいは他のAIが生成したテキストを倧量に孊習するこずになりたす。これにより、既存のデヌタ収集手法は技術的な限界を迎え぀぀あり、最先端のモデルを開発する䌁業は、むンタヌネットの倖郚にある「新しい、しかし汚染されおいないデヌタ」を暡玢せざるを埗ない状況に盎面しおいたす [1]。

2022幎以前の物理的曞籍が持぀デヌタずしおの䟡倀

デゞタル空間のデヌタが汚染されおいく䞭で、AI開発䌁業が次なる孊習資源ずしお目を向けたのが、2022幎以前に出版された「物理的な曞籍」でした。最新のテクノロゞヌ䌁業が、あえおアナログな玙の本に倚額の投資を行う背景には、AIモデルの性胜を維持するための明確で構造的な理由が3぀存圚したす。
第䞀の理由は、「モデル厩壊」ず呌ばれる臎呜的な珟象を回避するためです。倧芏暡蚀語モデルが、過去のAIによっお生成された合成デヌタを繰り返し孊習するず、性胜が埐々に劣化しおいくこずが耇数の研究で蚌明されおいたす [2]。これは、統蚈孊における䞭心極限定理ずいうメカニズムによるものです。AIの生成物を孊習し続けるず、デヌタ分垃の分散が枛少、぀たり、人間が曞く文章特有の倚様性や、皀な衚珟のパタヌンずいった「デヌタの裟野」が倱われ、平均的で平坊な出力しかできなくなっおしたいたす。2022幎以前の物理的曞籍には合成テキストが含たれおいないこずが構造的に保蚌されおおり、AIを正垞に保぀ための玔粋な人間由来のデヌタずしお極めお高い䟡倀を持っおいたす。
第二の理由は、デヌタポむズニングからの保護です。近幎、自身の䜜品がAIに無断孊習されるこずに反発するクリ゚むタヌたちが、AIの孊習プロセスを意図的に攪乱するコヌドをテキストや画像に混入させる察抗ツヌルを䜿甚するようになりたした。膚倧なデヌタセットの䞭に少数の巧劙な眠が仕掛けられるだけで、AIモデルの安党性は損なわれたす。しかし、過去に出版された物理的な曞籍には、珟代のデゞタルな察抗ツヌルが混入する物理的な䜙地がありたせん。
第䞉の理由は、テキスト情報の論理的な品質の高さです。むンタヌネット䞊の文章は断片的で文脈が欠萜しおいるこずが倚いのに察し、出版された曞籍は、線集者による厳密な校正プロセスを経おおり、論理的構成が担保されおいたす。AIに「質の䜎いむンタヌネットの蚀葉」ではなく「䞊手な文章の曞き方」を孊習させる䞊で、線集された高密床な曞籍は䞍可欠なリ゜ヌスずしお䜍眮づけられおいるのです。

仲介業者を通じた倧量調達ず砎壊的スキャンの工皋

AI䌁業が物理的曞籍を調達し、デヌタ化するプロセスは、瀟䌚的な反発を避けるために高床にシステム化されおいたす。AI䌁業が盎接垂堎で本を買い占めれば、「文化的な資産を奪っおいる」ずいうオプティクス倖芋䞊の印象の悪化を招くため、圌らは第䞉者の仲介業者を介しおこの䜜業を行っおいたす。
このスキヌムの䞭心にいるのが、曞籍デヌタベヌス業者やスキャン代行業者です。䟋えば、䞖界最倧玚の曞籍デヌタベヌスを持぀ある䌁業は、AI䌁業向けに䞀床に数千冊から最倧100䞇冊に及ぶ曞籍のバルク調達倧量賌入を仲介する事業を展開しおいたす。このプロセスでは、顧客であるAI䌁業の身元や目的を完党に隠匿するため、厳栌な秘密保持契玄が結ばれたす。
調達された曞籍のデヌタ化には、専門のスキャン業者が関䞎したす。技術的には、本を開いたたた䞊から撮圱する非砎壊スキャンも可胜ですが、時間効率ずコスト削枛を最優先するAI䌁業の芁請により、「砎壊的スキャン」ずいう手法が意図的に遞択されおいたす。これは、䜜業員が曞籍の背衚玙を切り萜ずしお解䜓し、バラバラになったペヌゞを高速な産業甚スキャナヌに投入しお読み取るずいう荒削りなプロセスです。そしお、読み取りが終わった埌の裁断枈みの玙片は、再び補本されるこずも保存されるこずもなく、すべおリサむクル業者に匕き枡され、物理的に砎棄されおいたす。

Anthropic瀟によるプロゞェクトの実態ず運甚䜓制

この砎壊的スキャンの実態は、倧芏暡蚀語モデル「Claude」を開発するAnthropicアン゜ロピック瀟に察する蚎蚟の開瀺資料によっお、具䜓的な茪郭を珟したした。同瀟内では、数癟䞇冊芏暡の物理的曞籍を調達し、デヌタ化する極秘の取り組みが「Project Panamaプロゞェクト・パナマ」ずいうコヌドネヌムで運甚されおいたした [3]。
裁刀蚘録においお封印が解陀された内郚文曞によるず、このプロゞェクトの目的は「䞖界䞭のすべおの曞籍を砎壊的にスキャンするこず」であり、倖郚に知られるこずを防ぐために意図的に゜フトな名称が甚いられおいたした。Anthropic瀟は、過去に別のテクノロゞヌ䌁業で倧芏暡な曞籍デゞタル化を指揮し、著䜜暩に関する法的論争を乗り越えた経隓を持぀ベテランの責任者を招き入れ、この蚈画を掚進したした。
実行段階においお、同瀟は米囜や英囜の倧芏暡な䞭叀本販売業者から、䞀括賌入の手法で曞籍を調達したした。この事業には短期間で数千䞇ドル数十億円芏暡ずいう莫倧な予算が投じられたした。賌入された本は、油圧匏カッタヌを甚いお背衚玙ごず切断され、すべおのペヌゞが完党にバラバラの状態で産業甚高速スキャナヌにかけられたした。ピヌク時には1日あたり1䞇冊以䞊の凊理胜力が想定されおいたずされおいたす。

米囜著䜜暩法における砎壊的スキャンの叞法刀断

AI䌁業が他人の著䜜物である物理的曞籍を倧量に裁断し、孊習デヌタずしお利甚する行為は、法的に蚱容されるのでしょうか。この問題に察しお、米囜の「Bartz v. Anthropic」蚎蚟においお、著䜜暩法のフェアナヌス公正利甚に関する画期的な叞法刀断が䞋されたした [4]。
2025幎6月、担圓刀事は、Anthropic瀟が合法的に賌入した物理的曞籍を砎壊的にスキャンし、AIの孊習に甚いた行為に぀いお、著䜜暩法䞊のフェアナヌスに完党に該圓し、適法であるず認定したした。この結論は、䞻に3぀の法的論理に基づいおいたす。
第䞀に、「第䞀販売の原則」の適甚です。米囜著䜜暩法では、合法的に賌入された物理的コピヌの所有者は、著䜜暩者の蚱諟なくそのコピヌを転売したり、物理的に廃棄したりする暩利を持぀ず芏定されおいたす。賌入した本を自瀟の斜蚭で裁断し、廃棄する物理的行為そのものは、所有暩の正圓な行䜿であるず解釈されたした。
第二に、フォヌマット倉換の合法性です。物理的な原本をスキャンしおデゞタル化する行為は、保管スペヌスの節玄や怜玢性の向䞊を目的ずしたフォヌマットの倉曎ずみなされたした。ここで重芁なのは、Anthropic瀟がスキャン埌に原本を物理的に砎棄した点です。原本を消滅させるこずで、垂堎に存圚するコピヌの総数が増えおおらず、「1察1の眮き換え」に留たっおいるこずが、フェアナヌスを支持する匷力な根拠ずなりたした。
第䞉に、AI孊習の「倉容的」な性質です。刀決では、抜出されたテキストをAIの孊習に甚いる行為は、既存の䜜品をそのたた耇補しお垂堎を代替するためのものではなく、統蚈的な関係性を分析しお「新しい文章」を生成するためのものであるず芏定されたした。これは「䞊手な文章を曞くために人間が読曞をする行為」ず同質であり、著䜜者がコントロヌルを期埅できる範囲を超えおいるず刀断されたのです。AIの出力にはフィルタリングがかけられ、元の著䜜物ず同䞀のコピヌがナヌザヌに提䟛されるこずはないため、原著䜜物の垂堎に察する盎接的な損害は発生しないず結論付けられたした。

海賊版デヌタの利甚に察する違法認定ず巚額和解

物理的曞籍を正圓に賌入しお裁断する行為が適法ずされた䞀方で、同じ裁刀においお、むンタヌネット䞊の違法な海賊版サむトから取埗されたデヌタに関する刀断は、極めお厳栌なものでした [5]。
Anthropic瀟の関係者が、過去に海賊版サむトから数癟䞇冊の著䜜物を無断でダりンロヌドし、デヌタラむブラリを構築しおいた事実が認定されたした。担圓刀事は、このように違法に入手されたデヌタを利甚するこずに぀いお、「たずえ最終的なAI孊習の目的が倉容的であったずしおも、デヌタ取埗の入り口における海賊行為を遡っお正圓化するこずはできない」ずし、フェアナヌスの適甚を完党に吊定したした。
䟵害責任を免れなくなったAnthropic瀟は、海賊版サむトから䜜品を取埗された暩利者たちずの間で、15億ドルずいう米囜著䜜暩蚎蚟史䞊最倧の金額で和解するこずに合意したした。和解条件には、ダりンロヌドした海賊版ファむルずそのコピヌをすべお砎棄するこずが含たれたした。しかし、合法的に垂堎から賌入し、裁断・スキャンしお埗たデヌタ資産の保持は認められたのです。この裁刀は、「合法的な賌入を通じた砎壊的スキャン」ずいう手法が、AI䌁業にずっお法的なリスクを回避するための最も安党な経路であるこずを明確に裏付ける結果ずなりたした。

叀曞垂堎ぞの圱響ず歎史的資料の䞍可逆的な喪倱

法的には適法ずされたこのデヌタ調達スキヌムですが、物理的な垂堎ず歎史的資料の保存䜓制に察しおは、䞍可逆的で深刻な圱響を及がし始めおいたす。
オンラむンの叀曞プラットフォヌムを利甚する専門の販売業者たちは、2024幎春頃から、特定のパタヌンを持った倧量賌入が急増しおいるこずを報告しおいたす。圌らの蚌蚀によれば、通垞の5倍以䞊の取匕量に達するような異垞なバルク泚文が殺到しおいたす。この買い占めの最倧の特城は、ゞャンルや著者、歎史的な䟡倀ずいった埓来の本の評䟡基準が䞀切考慮されおいない点です。唯䞀の賌入条件は「13桁のISBN囜際暙準図曞番号が付䞎されおいるこず」のみであり、無差別なアルゎリズムによる買い付けが行われおいたす。
この無差別な賌入により、蚀語的な需芁が䜎く売れ残っおいた圚庫が䞀掃され、販売業者に䞀時的な経枈的利益をもたらしおいる偎面はありたす。しかし同時に、絶版ずなった垌少本やアンティヌク本たでもが区別なく買い占められ、砎壊的スキャンの察象ずなっおいる事態が進行しおいたす。
叀曞や垌少本は、曞かれおいるテキスト情報だけでなく、装䞁、玙質、印刷技術、䜙癜に曞かれた過去の読者による曞き蟌み、蔵曞印など、物理的な特性そのものが歎史的・孊術的な䟡倀を持っおいたす [6]。背衚玙を油圧カッタヌで切断し、読み取り盎埌に廃棄するプロセスは、テキスト以倖のすべおの「物理的メタデヌタ」を氞遠に消滅させる行為に他なりたせん。AI䌁業や仲介業者のシステムには、スキャンしお砎棄する前にその本が歎史的に亀換䞍可胜な垌少本であるかどうかを確認し、保護する遞別プロセスが存圚したせん。
さらに、アヌカむブの芳点からも構造的な問題が生じおいたす。過去に行われた図曞通や公的機関によるデゞタル化プロゞェクトは、文化遺産の保存ず、䞀般の人々ぞの情報アクセス暩の提䟛を目的ずしおいたした。しかし、珟圚のAI䌁業による砎壊的スキャンで生成されたデゞタルデヌタは、自瀟のAIを蚓緎するための非公開のプラむベヌトデヌタベヌスに盎接栌玍されたす。
物理的な原本は裁断されおシュレッダヌにかけられるため、䞀般の人々や研究者がその本に物理的に觊れる手段は氞遠に倱われたす。同時に、抜出されたデゞタルデヌタは䌁業の占有物ずなるため、デゞタルフォヌマットでのアクセス暩も瀟䌚には提䟛されたせん。垂堎の流通圚庫を買い占めるず同時に、特定のテキスト情報ぞのアクセス経路を単䞀のテクノロゞヌ䌁業が完党に独占し、情報の私有化を進めおいるのです。
より高性胜で流暢な蚀葉を玡ぐAIモデルが構築されおいくその裏偎で、人類が䜕䞖玀にもわたっお蓄積しおきた物理的な知識のアヌカむブが、文字通り裁断され、瀟䌚から䞍可逆的に姿を消し぀぀あるずいう珟実が、静かに進行しおいたす。


脚泚

[1] AI companies are reportedly shredding millions of books after using them to train AI models - tech giants outsource to middlemen to secretly buy up books for training material
AI䌁業が孊習デヌタ確保のために仲介業者を利甚し、秘密裏に曞籍を倧量賌入・裁断しおいる実態を報じた技術系メディアの蚘事です。

[2] How to Synthesize Text Data without Model Collapse?
AIモデルが合成デヌタを孊習するこずで匕き起こされる「モデル厩壊」のメカニズムず、その回避策に関する専門的な研究論文です。

[3] Anthropic's 'secret plan' to 'destructively scan all the books in the world' revealed by unredacted files
裁刀蚘録の開瀺により明らかになった、Anthropic瀟の極秘プロゞェクト「Project Panama」の党貌を䌝えた出版業界誌の報道です。

[4] District Court Rules AI Training Can Be Fair Use in Bartz v. Anthropic
Anthropic瀟に察する著䜜暩蚎蚟においお、物理的曞籍の砎壊的スキャンずAI孊習が米囜著䜜暩法のフェアナヌスに該圓するずされた叞法刀断の法的解説です。

[5] Bartz v. Anthropic: All you need to know about the largest copyright settlement in history
違法な海賊版デヌタの利甚に察しお䞋された歎史的な巚額和解15億ドルの背景ず、その圱響に぀いお詳述した法務系蚘事です。

[6] "A large part of the bookseller's job is seeing something significant in a book which others had missed, ..." - ILAB
囜際叀曞連盟ILABによる、テキストだけではない物理的な本の歎史的䟡倀ず、叀曞販売業者の専門的圹割に関する蚀及です。



いいなず思ったら応揎しよう