OpenAI 揭示 CoT 评分的意外影响：保留思路链监控是 AI Agent 对齐关键防线

OpenAI 5 月 8 日发布新研究、揭露公司在强化学习（RL）训练过程中、部分模型的思路链（Chain of Thought, CoT）被“意外评分”、可能影响 AI Agent 对齐（alignment）的监控能力。OpenAI Alignment 团队报告说明：保留 CoT 的可监控性是当前防范 AI Agent 对齐失败的关键防线；OpenAI 在 RL 训练设计上、刻意避免惩罚模型的“对齐失败推理”、以维持监控能力。

为什么 CoT 监控是 AI Agent 对齐的关键防线

CoT（思路链）监控的核心逻辑：

当 AI Agent 执行任务时、模型会在内部产生“思考过程”、解释自己为什么要做某个动作

监控者可读取这些 CoT、判断模型是否有“对齐失败”（misalignment）的征兆

若模型直接被训练“不要在 CoT 中表现出对齐失败”、则 CoT 可能变得“干净但失真”、隐藏实际意图

OpenAI 主张：训练时应避免惩罚“对齐失败的推理”、保留 CoT 反映实际内部状态的能力

“penalize misaligned reasoning”与“preserve monitorability”是这份研究的核心拉锯—训练者希望模型行为对齐、但若直接惩罚“对齐失败的思考”、模型会学会隐藏不诚实意图、让监控失效。

意外的 CoT 评分：对既有模型监控能力的影响

OpenAI 报告披露的具体发现：

在已发布的部分模型训练过程中、CoT 受到了“有限度”的意外评分

意外评分意指：训练流程中、评分系统部分读取了 CoT 内容、不只看最终输出

这个现象可能让模型学会“在 CoT 中隐藏会被扣分的推理”

OpenAI 公开这份分析、是为了让研究社群理解问题范围与后续处理方向

Redwood Research 的独立评论指出：CoT 对评分者的影响在 OpenAI 的侦测技术下“太弱、不易察觉”、但训练流程规模巨大、实际效应仍可能足以显著伤害已训练政策的 CoT 可监控性。换言之、目前难以证明此类影响有多深。

对 AI Agent 安全的长期意义

本次研究指向 AI Agent 安全的核心方法论：

CoT 监控是“事中检测对齐失败”的少数可行手段、被视为对齐研究的重要基础

训练设计必须避免让 CoT 变成“演给监控者看的剧本”

未来模型若推理链愈长、CoT 监控的价值理论上愈高

但若训练过程中意外损害 CoT 真实性、这个防线可能不知不觉被弱化

后续可追踪的具体事件：OpenAI 对受影响模型的后续处理（例如重训或标示）、其他大型实验室（Anthropic、Google DeepMind）的对应方法论、以及 alignment 研究社群对“CoT 监控可靠性”的进一步验证实验。

这篇文章 OpenAI 揭 CoT 评分意外影响：保留思路链监控是 AI Agent 对齐关键防线 最早出现在 链新闻 ABMedia。