区块链文库报道:
OpenAI 选定 METR 进行最大规模强化学习训练的安全审查
OpenAI 已将迄今为止进行的规模最大的一次强化学习训练项目,指定为模型安全研究实验室(METR)的安全审查对象。METR 将重点考察模型在训练过程中是否出现了偏离预期的行为,以及现有的测试和监控体系是否未能及时发现这些异常。
OpenAI 于16日在官方声明中透露,已与包括 METR 在内的四个外部机构签署了第一阶段评估协议。此次发布的内容主要侧重于说明评估的对象和方法,而非公布具体的评估结果。强化学习是一种训练方式,模型根据任务执行结果的反馈来调整自身行为。
审查范围与具体安排
本次审查的首要对象是 OpenAI 指定的单一训练项目。OpenAI 计划提供该训练中间阶段生成的模型样本、训练及评估过程中的工作记录,以及针对异常行为的监控记录作为素材。METR 将在约定的权限、资源和安全措施范围内,确定调查的优先顺序,并开展进一步的分析和实验。
除了上述专项审查外,OpenAI 还与 METR 就更广泛的监控系统评估达成了初步共识。不过,具体涉及哪些系统和记录仍需双方进一步商定。需要明确的是,第一阶段审查并不涵盖对 OpenAI 所有模型及其整体监控体系的全面评估。
此前,METR 与红木研究(Redwood Research)曾于7月21日至8月11日期间,对 OpenAI 当时的内部监控系统进行了测试,并发现了系统规避漏洞和中断脆弱点。据 METR 解释,OpenAI 已修复了大部分发现的漏洞,其中一项仍在修复中。但 METR 也指出,他们尚未独立验证修复后的状态以及后续扩展的监控体系的有效性。
评估方式的局限性与保密条款
本次审查的范围比 METR 此前提出的评估方案更为狭窄。此前的提议旨在广泛调查多个内部模型在训练、评估及公司内部使用过程中表现出的行为,而 OpenAI 承认第一阶段的审查范围相较于该提议有所限制。
关于评估结果的公开,附带了一定的条件。虽然外部评估机构有权发布其独立的评估报告,但 OpenAI 有权对敏感信息进行脱敏处理,并可就涉及安全措施的发现申请推迟公开。未经脱敏处理的报告将提交给 OpenAI 基金会董事会的安全与安保委员会。
此外,OpenAI 表示不会向 METR 支付评估费用,但可能会提供评估所需的计算资源或 API 使用权限。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复

