C
ChaoBro

写了一本讲 AI 如何危害真相的书,结果书里出现了 AI 编造的引用——作者说"我停不下来"

写了一本讲 AI 如何危害真相的书,结果书里出现了 AI 编造的引用——作者说"我停不下来"

这个故事有一种希腊悲剧式的讽刺感。

Steven Rosenbaum 写了一本新书,叫《The Future of Truth》(《真相的未来》)。书的主题是:AI 正在"弯曲、模糊和合成真相"。

然后《纽约时报》发现,这本书里有 6 条引用是"不当归属或合成的"——也就是说,AI 编造的。

其中一条引用,科技记者 Kara Swisher 对《纽约时报》说:"我从未说过这话。"

另一条引用,东北大学教授 Lisa Feldman Barrett 说:"这不在我的书里,而且它也是错的。"

这是第一层讽刺。

第二层讽刺是:Rosenbaum 承认问题后,说他不会停止使用 AI

发生了什么

Rosenbaum 在写作过程中使用了 ChatGPT 和 Claude 来"发现想法、定位文章、总结主题、识别可能需要深入的人或论文"。他在笔记中用"这来自 AI"的标签标记了这些信息。

然后这些笔记交给了出版商提供的事实核查员和两位文字编辑。

285 条外部引用中,6 条出了问题。其中 3 条是"合成引用"——没有任何来源的完全编造。

Rosenbaum 说:"我认为我们做得非常有效,但不是百分之百。我们在做工作,我们在尽最大努力。我们看了一下,看起来是对的。我们双重检查了,然后我们犯了一个错误。"

但大多数作家在写书的时候,能做到零条编造的引用。

为什么这比看起来更严重

问题不在于一个作家犯了错。而在于传统的事实核查流程在 AI 辅助写作面前系统性地失效了

在过去,事实核查员可以合理地假设:作者引用的文献,是作者直接从原文中抄录的。这些引用当然需要核查,但它们天生就不那么可疑——因为它们是可验证的。

但当 AI 介入流程后,这个假设就崩溃了。AI 可以生成看起来完全合理的引用——格式正确、人名正确、甚至书名正确——但内容是编造的。

事实核查员看到的是一条格式完美、看起来完全可信的引用。他们没有理由怀疑它——除非他们专门去验证每一条。而当一本书有 285 条引用时,逐条验证的成本是巨大的。

这就像印钞技术升级了,但验钞机还是老款。

最让人不安的部分:作者停不下来

Rosenbaum 对 Ars Technica 说了一段话,比任何合成引用都让我在意:

"让我几年不使用 AI,等它自己理清楚,然后回去用……Microsoft Word……这不是我的天性。AI 是有魔力的。因为它连接、它编织思想、给你你自己想不到的思考路径。"

他说 AI 像《指环王》里的魔戒——"让很多使用者相信他们能正确控制它的力量。但他们能吗?"

这个比喻用得很准。但他没有意识到的是:他自己就是那个比喻的证明

他写了一本关于 AI 危害的书。AI 在他的书里编造了引用。他承认了,改了,但他说他停不下来。

这就是魔戒的诅咒。不是"我不知道它有危害"——而是"我知道它有危害,但我还是要用"。

出版业的结构性困境

这个故事还有一个更大的背景:新闻编辑室和出版商正在"裁减文字编辑和事实核查员"。

财务压力下的出版业,越来越少的人在做越来越少的事。然后 AI 来了,承诺能提高效率——用一个工具替代被裁掉的人。

但 AI 不是一个"更好的人"。它是一个完全不同类别的东西。它会犯人类不会犯的错——而且这些错看起来完全不像错。

当出版商裁掉事实核查员,然后用 AI 辅助写作,最后在"看起来对的"内容上盖个章就发布——这个流程里的每一个环节都在引入风险。

我的看法

Rosenbaum 的态度比我预期的要诚实。他承认了问题,没有辩解,正在做"完整引用审计"。这是负责任的做法。

但他说他不会停止使用 AI——这让我担心。

不是因为"用 AI 写作"本身有问题。而是因为大多数用 AI 辅助写作的作者,可能不会像 Rosenbaum 那样诚实,也不会有《纽约时报》来调查他们

想象一下:一个不那么知名的作者,用 AI 辅助写了一本书。AI 编造了几条引用。事实核查员(如果有的话)没有发现。书出版了。没有任何人来调查。

没有人知道。

这就是问题的核心。不是"AI 会犯错"——而是"AI 犯错后,我们可能永远不知道"。

Rosenbaum 的书讲的是 AI 如何合成真相。他的书本身就变成了一个例子:AI 如何在一本关于 AI 合成真相的书里,合成了真相。

讽刺吗?是的。但更重要的是:这本书之后还会有多少这样的例子?

主要来源: