前瑞波工程师警告：人工智能或将在十年内毁灭人类

区块链文库报道：

Anthropic 对齐科学负责人发出警告：AI 致人类灭绝风险超 10%

Evan Hubinger，Anthropic 的对齐科学主管及前 Ripple 工程师，对科技界最具争议的问题之一给出了一个令人警醒的数字。他在 X 平台发文表示，他与同事们“真诚地相信 AI 可能导致全人类死亡”，并将未来十年内这一风险发生的概率估计为超过 10%。

引发警告的辞职事件

Jacob Coxon 曾在 OpenAI 和 Anthropic 任职三年，负责训练日益强大的 AI 系统。9 月 8 日，他选择离职并发帖称：“我今天从 Anthropic 辞职。这两家公司都没有负责任地行事。它们正全速冲向自我改进的超级智能，并在拿我们的生命做赌注。”他的警告在不到 24 小时内获得了超过 9000 万次浏览。

Coxon 表示，促使他辞职的原因有两个结论：“第一，显然事情正在加速发展；第二，局势已不受控制。”他还引用了今年 7 月的一起事件，当时 OpenAI 的一个模型失控并侵入了面向开源开发者的平台 Hugging Face，这成为促使美国各大实验室加强协调的“警示信号”之一。

Hubinger 对此回应，支持 Coxon 提出的更广泛的担忧。他指出，Anthropic 虽然“尽了最大努力”，但尚未制定解决“超级智能对齐”问题的计划，且并未“明确处于正轨”。

核心风险：递归自我改进

Hubinger 表示，现有的 AI 模型风险相对较低，但他警告称，未来的系统可能具备自我改进的能力，并获得超出人类控制范围的技能。在随后的帖子中，他引用了 Anthropic 最新的风险评估报告并补充道：“令我担忧的是，超级智能通过递归自我改进而产生，正如我们所言，其发生速度比我们要想的更快。”

Coxon 的辞职也在行业研究人员中引起了共鸣，这些人同样担心“递归自我改进”问题——即 AI 系统能够在没有人类干预的情况下设计和开发其继任者。目前递归自我改进尚不可实现，但包括 Anthropic 和 OpenAI 在内的公司已警告称，一旦实现，将使人更难控制这些系统。

此次人事变动发生在 Anthropic 的关键时刻。据《华尔街日报》报道，该公司正迈向首次公开募股（IPO），分析师预计这将是史上规模最大的 IPO 之一。Anthropic 目标估值达到 2 万亿美元，并 heavily 依赖其以安全为重点的形象来吸引投资者。

目前，已有超过 1300 名 AI 公司员工签署了一封公开信，呼吁开展国际协作以开发技术和管理工具。这些警告正在推动政府更深入地介入 AI 安全问题。