核心导读
AI行业似乎正就其技术是否对人类构成生存威胁，展开迄今最激烈的辩论。
这场讨论始于AI研究员雅各布·考克森（Jacob Coxon）表示，他已从Anthropic辞职，因为担心领先AI公司正在“拿我们的生命赌博”。随后，Anthropic的对齐负责人也发帖宣称：“我们真的由衷认为AI可能杀死所有人类！”并补充说，他个人认为未来十年内这一概率“超过10%”。
在TechCrunch《Equity》播客最新一期中，克尔斯滕·科罗塞克（Kirsten Korosec）、肖恩·奥凯恩（Sean O’Kane）和我讨论了最新的末日警告。我试图说明为何自己对许多AI末日论叙事持怀疑态度，而克尔斯滕则问，这是否“只是一种奇怪的炫技方式，用来展示他们公司的AI模型有多先进”，尤其是在这些公司筹备上市之际。
肖恩则想知道，这些担忧会如何出现在Anthropic的IPO S-1文件中：“现在是不是有初级律师正在逐字修改S-1文件的那一整节，改成‘Anthropic的官方立场是，我们有超过10%的概率开发出某种会消灭全人类、并对我们的业务造成重大不利影响的东西’？”
以下是我们对话的预览，为篇幅和清晰度经过编辑。（注：我们录制这期节目时，Anthropic CEO达里奥·阿莫代伊（Dario Amodei）尚未发布其更谨慎推进AI开发的计划。）
肖恩·奥凯恩：我很难想到有什么事情能这么快引爆舆论。发出这记警告的不仅是这位也曾在OpenAI工作过的年轻研究员，而且Anthropic的对齐负责人也立刻在X上转发了它——他分享了考克森的帖子和整个讨论串，并说：“我们真的由衷认为AI可能杀死所有人类！”还加了感叹号！这或许会作为史上最不合时宜的感叹号之一被记住。
这氛围真奇怪。那篇帖子或那组帖子本已令人紧张，他的转发无异于浇上一大桶助燃剂。此前又发生了OpenAI内部模型引发的Hugging Face被黑事件，再加上Anthropic发布最新模型、以及几周前OpenAI的Astra所展现的能力提升，我认为这位年轻研究员的话时机恰到好处，足以成为火药桶。
安东尼·哈：恕我不同意你，我确实认为，如果你相信AI可能毁灭全人类，那确实配得上一个感叹号。我要说，那个感叹号用得完全恰当！
我对那条推文的不满更多在于“我们”。这里的“我们”是谁？我们能在多大程度上把AI社区或AI研究社区当作一个整体来谈？而那个超过10%的概率——那只是个编造的数字，毫无意义。科技行业和其他领域有时习惯抛出这类百分比，它们没有任何依据，也不是根据任何东西计算出来的。（事后想来，我意识到那条推文可能指的是P(doom)概念，但我仍觉得这很愚蠢。）
关于考克森的声明和决定，我要说一点——《Equity》上反复出现一个主题：当像萨姆·奥尔特曼（Sam Altman）或达里奥·阿莫代伊这样的人讲这种末日叙事时，总有一个问题：既然如此，你为什么还在做你现在做的事？如果你真的相信（AI可能毁灭人类），你就不会继续做下去。
而这个人实际上是在让自己的职业轨迹与言论一致。他真正在说：“我相信这真的真的非常糟糕，我不想继续做下去了。”所以，至少他有勇气这么做，值得敬佩。
克尔斯滕·科罗塞克：是的，我把他和其他那些说这些话、谈论危险的人分在不同的阵营。
我要戴上推测的帽子，因为我想问你们俩一个问题：有没有可能，每次我们看到越来越多博客文章讲他们的某个AI智能体又无意中突破限制，或者他们谈论人类如何面临风险，这都是一种奇怪的炫技方式，用来展示他们公司的AI模型有多先进？
我的意思是，这听起来很愤世嫉俗，但它确实达到了这个目的。那就是：如果这些AI模型不先进、没有能力、也没有突破限制，我们就不必担心这些事情，对吧？这就像一种非常奇怪的方式，炫耀你自己公司里造出的模型有多强。
安东尼：我肯定也想过这一点。我不认为这完全是愤世嫉俗，因为我不认为这全都是非常自觉的营销手段。我认为，当很多人——无论是研究员还是CEO——谈论这件事时，他们确实有真实担忧。
但当然，说“哇，我们造出了有史以来最致命的软件”，在很多方面符合（他们的）商业利益。我不想在这里过于心理分析，但别人指出，个人层面确实有这种诱惑：你当然愿意相信，你正在做的是世界上最重要、最危险的事情。
肖恩：想到这个问题时，我脑海中特别突出的是，确实有一种因素让它看起来像：“好吧，我们正在做的东西如此强大，这在某种程度上对我们有好处，即使从很多不同角度看它都很糟。”
我认为最近一些例子不同之处在于，它真的让人感觉，这些公司在某些方面并不能掌控这些东西，尤其是OpenAI的那些事。
我们不断看到越来越多报道，说其他内部智能体访问了网上不同的wiki，还互相留言，而OpenAI似乎并没有以称职的方式处理此事。我想，如果整个故事只是为了让人相信“天哪，他们造出了某种难以置信的强大东西”，那叙事应该会打磨得更好一些。
另外，我认为这件事尤其令人着迷的一点是：我们距离看到Anthropic的IPO S-1文件最多还有几周，而距离潜在上市可能也就再多几周或一两个月。
而在IPO前公开用这样明确的语言说这些事情——我非常感兴趣这对上市流程意味着什么。他们已经在S-1及其风险因素中写了多少这类内容？现在是不是有初级律师正在逐字修改S-1文件的那一整节，改成“Anthropic的官方立场是，我们有超过10%的概率开发出某种会消灭全人类、并对我们的业务造成重大不利影响的东西”？
克尔斯滕：你这是在假设它还没写进去。
肖恩：可我就是这个意思：它是已经在里面、只是在改措辞？还是说这真的是一场手忙脚乱？里面肯定已经有相关表述。这也是我如此急切想读这份文件的原因之一，某种程度上甚至超过读SpaceX（S-1）的急切，因为我相信里面很可能有专门针对这些想法的内容，会很有意思。
克尔斯滕：事情是这样：在传统投资环境中，人们可能会认为这样的措辞会损害公司估值，因为它突然显得危险。但我们并不生活在正常时代。
所以，再次回到我的观点：这最终可能在估值方面成为公司一种奇怪的、有利的炫技。它不同于我们去年看到的整套“愤怒诱饵”趋势，但可以说处在同一个宇宙里：某物的力量、能力，甚至危险元素，等同于高估值。所以我想，几周后我们就会见分晓。
先把这些放一边，那正在采取什么措施？我们能控制这件事吗？一家名为ControlAI的非营利组织的美国执行主任康纳·利希（Connor Leahy）本周上了节目，谈论这个问题。那么，在如何控制AI危险方面，你在关注什么？还是我们只能摊开双手，眼看着一切发生？
安东尼：我自己未必有很好的答案，但我一直在思考这场辩论的某些方面，也许还有我为何会这样回应。
呼应肖恩的一个观点，我确实认为，这在一定程度上说明，这些大型AI公司觉得自己不再真正控制这些模型。这绝对不妙。这是我们都应该担心的事情。
我确实认为，我对末日论叙事持怀疑或抗拒态度的部分原因，是它达到了这种歇斯底里的程度：“哇，这可能在未来10年毁灭人类。”这有点让人分心，忽略了AI可能造成的更直接伤害，无论是与劳工相关的，还是与环境与气候相关的。
理想情况下，我认为我们应该能够讨论所有这些问题，并针对所有这些问题（包括AI的生存威胁）制定监管和其他保障措施。但一旦你开始使用AGI、超级智能这样的说法，它就会吸走房间里所有的氧气，这种方式并不太有帮助。