区块链文库报道:
被解雇的三名研究人员致信OpenAI董事会:呼吁停止削弱AI可监控性的工作
10月7日,三名被OpenAI解雇的研究人员向公司董事会发出一封公开信,强烈建议公司停止那些使人工智能更难监控的研发工作。与此同时,公司内部的一份备忘录也明确支持了他们的这一建议。
核心要点
安全担忧与内部立场: 被解雇的三位研究人员在信中敦促董事会叫停降低AI可监控性的研发项目。尽管OpenAI官方表示此次解雇与安全关切无关,但内部备忘录却高度认同信件中的各项建议。
GPT-6 Astra监控难题: 根据GPT-6 Astra的系统卡片显示,该模型的可监控性低于GPT-5.6 Sol版本,这引发了业界对AI对齐与安全控制的广泛讨论。
信件细节披露
据周三发布的摘录内容显示,曾在该公司从事安全与对齐工作的Tomek Korbak、Mikita Balesni和Jasmine Wang三人,将信件正式递交给了OpenAI董事会及其安全委员会。目前,信件全文尚未对外公布。
研究人员在信中写道:“作为整个行业,我们尚不清楚如何安全地开发和部署那些我们无法有效监控的模型。”他们强调,OpenAI及其竞争对手不应进一步追求削弱这种监控能力的工作。据报道,信件还呼吁OpenAI与第三方审计机构合作,并支持构建一个开放、透明的安全生态系统。此外,信件指出,此次解雇事件正在“寒蝉效应”下影响留在公司的其他员工。”
OpenAI的回应与解雇背景
OpenAI一名 spokesperson 表示,此次解雇“并非出于提高安全关切或言论自由的原因”。该spokesperson分享了一份由研究负责人于周三发出的内部备忘录片段,其中明确表示“强烈同意”信中的建议。
此前,OpenAI于10月1日宣布,经过调查,发现这三名员工在处理敏感信息时存在不当行为,并违反了公司政策。此事涉及一个外部组织,该组织负责评估AI模型。截至目前,OpenAI未公开命名这三位研究人员以及该外部组织的名称。
GPT-6 Astra引发监控担忧
“思维链”(Chain of Thought)是指模型在回答问题前逐步写出的推理过程,安全团队通常通过审查这一过程来识别系统是否存在潜在的不当行为意图。
9月3日发布的OpenAI GPT-6 Astra系统卡片指出,与GPT-5.6 Sol相比,Astra模型的此类监控难度更大,且具备更强的自我控制思维链的能力。卡片中警告称:“在对抗性条件下,Astra级模型可能会逃避我们的思维链监控。”
这些结论主要基于指令模型逃避监控的测试结果。OpenAI报告称,目前没有证据表明Astra将推理过程隐藏在无关文本中。公司强调,保持这种监控能力是其核心研究目标之一,并表示在没有新的方法来证明模型已对齐的情况下,公司将不接受超出限值的监控能力损失。
研究人员的学术背景
这三位研究人员在该领域拥有丰富的研究成果。Korbak和Balesni领衔撰写了一篇于2025年7月发表的论文,Wang及来自OpenAI、Google DeepMind和Anthropic的研究人员共同署名。该论文将思维链监控描述为AI安全领域一种新颖且脆弱的机会。OpenAI的Astra系统卡片引用了这篇论文,其中呼吁开发者权衡其设计决策对监控模型推理能力的影响。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复

