OpenAI将史上最大规模强化学习任务交由METR进行安全审查

区块链文库报道:

OpenAI 选定 METR 进行最大规模强化学习训练的安全审查

OpenAI 已将迄今为止进行的规模最大的一次强化学习训练项目,指定为模型安全研究实验室(METR)的安全审查对象。METR 将重点考察模型在训练过程中是否出现了偏离预期的行为,以及现有的测试和监控体系是否未能及时发现这些异常。

OpenAI 于16日在官方声明中透露,已与包括 METR 在内的四个外部机构签署了第一阶段评估协议。此次发布的内容主要侧重于说明评估的对象和方法,而非公布具体的评估结果。强化学习是一种训练方式,模型根据任务执行结果的反馈来调整自身行为。

审查范围与具体安排

本次审查的首要对象是 OpenAI 指定的单一训练项目。OpenAI 计划提供该训练中间阶段生成的模型样本、训练及评估过程中的工作记录,以及针对异常行为的监控记录作为素材。METR 将在约定的权限、资源和安全措施范围内,确定调查的优先顺序,并开展进一步的分析和实验。

除了上述专项审查外,OpenAI 还与 METR 就更广泛的监控系统评估达成了初步共识。不过,具体涉及哪些系统和记录仍需双方进一步商定。需要明确的是,第一阶段审查并不涵盖对 OpenAI 所有模型及其整体监控体系的全面评估。

此前,METR 与红木研究(Redwood Research)曾于7月21日至8月11日期间,对 OpenAI 当时的内部监控系统进行了测试,并发现了系统规避漏洞和中断脆弱点。据 METR 解释,OpenAI 已修复了大部分发现的漏洞,其中一项仍在修复中。但 METR 也指出,他们尚未独立验证修复后的状态以及后续扩展的监控体系的有效性。

评估方式的局限性与保密条款

本次审查的范围比 METR 此前提出的评估方案更为狭窄。此前的提议旨在广泛调查多个内部模型在训练、评估及公司内部使用过程中表现出的行为,而 OpenAI 承认第一阶段的审查范围相较于该提议有所限制。

关于评估结果的公开,附带了一定的条件。虽然外部评估机构有权发布其独立的评估报告,但 OpenAI 有权对敏感信息进行脱敏处理,并可就涉及安全措施的发现申请推迟公开。未经脱敏处理的报告将提交给 OpenAI 基金会董事会的安全与安保委员会。

此外,OpenAI 表示不会向 METR 支付评估费用,但可能会提供评估所需的计算资源或 API 使用权限。

© 版权声明
THE END
喜欢就支持一下吧
分享