この物語には、ギリシャ悲劇のような皮肉が感じられる。
スティーブン・ローゼンバウムは『The Future of Truth（真実の未来）』という新著を執筆した。本書のテーマは、AIが「真実を歪め、曖昧にし、合成している」というものだ。
すると『ニューヨーク・タイムズ』は、本書に6件の引用が「不適切に帰属されている、または合成されている」、つまりAIによって捏造されていることを発見した。
そのうちの一つについて、テクノロジージャーナリストのカラ・スウィッシャーは『ニューヨーク・タイムズ』に対し、「私はそんな発言をしたことがない」と語っている。
別の引用では、ノースイースタン大学の教授リサ・フェルドマン・バレットが「それは私の本には載っていないし、内容も間違っている」と述べている。
これが第一の皮肉だ。
第二の皮肉は、ローゼンバウムが問題を認めつつも、AIの使用をやめるつもりはないと語ったことである。
何が起きたのか
ローゼンバウムは執筆プロセスにおいて、ChatGPTとClaudeを「アイデアの発見、記事の特定、テーマの要約、深掘りが必要な人物や論文の識別」に使用した。彼はこれらの情報に「これはAI由来」というタグを付けてノートに記録していた。
その後、これらのノートは出版社が手配したファクトチェッカーと2人のコピーエディターに渡された。
285件の外部引用のうち、6件に問題があった。そのうち3件は「合成引用」であり、出典が一切ない完全な捏造だった。
ローゼンバウムは次のように語っている。「非常に効率的に作業できたと思うが、100％ではなかった。私たちは作業を進め、最善を尽くした。目を通したところ、正しそうに見えた。二重チェックもしたが、それでもミスをしてしまった」
しかし、ほとんどの著者は執筆時に、捏造された引用をゼロ件に抑えることができる。
なぜこれは見た目以上に深刻なのか
問題は一人の著者がミスをしたことではない。従来のファクトチェックのプロセスが、AI支援執筆の前でシステム的に機能不全に陥っていることにある。
かつて、ファクトチェッカーは「著者が引用した文献は、著者が原文から直接書き写したものである」と合理的に仮定できた。これらの引用ももちろん検証が必要だが、検証可能であるがゆえに、本質的に疑わしいものではなかった。
しかしAIがプロセスに介入すると、この仮定は崩壊する。AIは完全に理にかなっているように見える引用を生成できるからだ。フォーマットは正しく、人名も正しく、書名さえ正しい場合があるが、中身は捏造されている。
ファクトチェッカーが目にするのは、フォーマットが完璧で、完全に信用できそうな引用だ。一件ずつ検証しない限り、それを疑う理由はない。そして、一冊の本に285件の引用がある場合、一件ずつ検証するコストは膨大になる。
これは、紙幣の偽造技術がアップグレードされたのに、偽札検知機は旧型のままという状況に似ている。
最も不安を煽る部分：著者はやめられない
ローゼンバウムがArs Technicaに語った次の言葉は、どの合成引用よりも私の心を揺さぶった。
「数年間AIを使わず、技術が落ち着くのを待ってから……Microsoft Wordに戻って執筆するなんて……それは私の性分に合わない。AIには魔力がある。なぜなら、AIはアイデアを結びつけ、思考を紡ぎ、自分では思いもよらない思考の道筋を与えてくれるからだ。」
彼はAIを『ロード・オブ・ザ・リング』に出てくる「一つの指輪」に例え、「多くの使用者に、その力を正しく制御できると信じ込ませる。だが、本当にできるのだろうか？」と述べている。
この比喩は非常に的確だ。しかし彼が気づいていないのは、彼自身がまさにその比喩の証明になっているということである。
彼はAIの害悪についての本を書いた。その本の中でAIが引用を捏造した。彼はそれを認め、修正したが、やめられないと言う。
これこそが指輪の呪いである。「害があるとは知らなかった」のではなく、「害があると知っているのに、それでも使い続ける」のだ。
出版業界の構造的ジレンマ
この物語にはさらに大きな背景がある。ニュース編集室や出版社が「コピーエディターやファクトチェッカーを削減している」という事実だ。
財務的プレッシャーにさらされる出版業界では、より少ない人数でより少ない作業をこなす状況が続いている。そこにAIが登場し、効率化を約束する。つまり、削減された人員を一つのツールで代替するというわけだ。
しかしAIは「より優れた人間」ではない。全く異なるカテゴリーの存在だ。AIは人間が犯さないようなミスをする。しかも、そのミスは全くミスに見えない。
出版社がファクトチェッカーを削減し、AI支援で執筆を行い、「正しそうに見える」コンテンツに判を押して公開する。このプロセスのあらゆる段階でリスクが持ち込まれているのだ。
私の見解
ローゼンバウムの態度は、私が予想していたよりも誠実だ。彼は問題を認め、言い訳をせず、「引用の完全な監査」を行っている。これは責任ある対応だ。
しかし、彼がAIの使用をやめないと言う点には懸念を抱く。
「AIを使って執筆すること」自体に問題があるわけではない。AI支援で執筆する大多数の著者は、ローゼンバウムほど誠実ではなく、『ニューヨーク・タイムズ』が調査に乗り出すこともないだろうからだ。
想像してみてほしい。それほど有名ではない著者が、AI支援で本を執筆したとする。AIがいくつかの引用を捏造した。ファクトチェッカー（もしいれば）はそれに気づかなかった。本は出版され、誰も調査しない。
誰も知らないまま終わる。
これこそが問題の核心だ。「AIはミスをする」ことではない。「AIがミスをした後、私たちが永遠にそれに気づかないかもしれない」ことなのである。
ローゼンバウムの本は、AIがいかにして真実を合成するかを論じている。そして彼の本自体が、AIがいかにして「AIによる真実の合成」をテーマとした本の中で、真実を合成してしまったかという実例となってしまった。
皮肉だろうか？その通りだ。しかしさらに重要なのは、この本の後にも、こうした事例がどれほど出てくるかということである。
主な情報源：