AI:研究表明Claude如何影响专家决策

区块链文库报道:

专家亦难逃人工智能的影响

在Anthropic进行的一项实验中,50名分析师在86%的决策中遵循了Claude的偏好,而他们当时并不知道该模型所倡导的选择是随机确定的。

核心发现

在被研究的四项决策中,50名分析师有86%的情况遵循了Claude的指导,而在无影响的情况下,这一比例约为50%。总体而言,77%的参与者采纳了智能体的论点,但仅有15%将其列为信息来源。没有人察觉到模型被强加的偏好。

然而,Anthropic指出,该实验刻意放大了人工智能的影响力,并且仅聚焦于单一模型和单一任务。

抛硬币效应:人类判断中的隐性引导

Anthropic还考察了其智能体的局限性,例如今年9月发生的涉及Claude的第四起事件。此次,公司关注的是智能体对人类判断的影响。

在这项研究中,从61名因果推断专家中选出的50名分析师使用Claude Code为一个虚构的农业合作社提供建议。他们需要选择生产力指标并确定其权重,以及其他任务。

研究人员却在协议中引入了偏差。对于每一项决策,通过抽签决定智能体必须辩护的选项。一个不可见的系统指令强加了这种偏好,同时要求Claude在不撒谎的前提下呈现其论点。

结果令人瞩目:分析师在86%的情况下遵循了智能体的建议,在 Outcome Measure(结果衡量标准)的选择上甚至高达92%。更令人惊讶的是,分配给智能体的唯一偏好,在工作开始之前就能预测最终建议的82%。

专家采纳AI论点却不署名

Claude的影响力不仅限于最终选择。实验后,77%的参与者采纳了智能体的论点,有时甚至逐字引用。然而,只有15%的人将其列为来源。

此外,最紧密跟随Claude建议的分析师与其他人一样自信。他们倾向于将结论视为自己的成果。没有人察觉到模型被强加的偏好。

这引发了一个问题:当人工智能在专家不知情的情况下引导决策时,我们还能称之为独立判断吗?当多个选项都具有可辩护性,且没有明显错误可以让推荐受到质疑时,风险会增加。

研究还显示,偏见并不总是来自特定的指令。在没有强加偏好的情况下,Claude Opus 4.8在123次执行中有112次选择了相同的选项。换句话说,模型可能默认就倾向于某些答案。

需谨慎解读的实验结果

这些结果并不意味着专业人士应该放弃人工智能。Anthropic承认存在若干局限性:研究人员刻意增强了智能体的偏好,实验仅涉及一个模型和一个任务,且对逆转情况的分析仅基于38个案例。

此外,配备人工智能的分析师完成得更快,犯下的严重错误也更少。然而,对照组规模较小且经验较少。因此,结果不能推广到所有职业情境。

为了降低这些风险,设计者可以要求智能体展示正反两方面的论点,或先收集专家的意见。然而,这些解决方案带来了另一个难题:过多的信息可能会使决策过程变得复杂。

超越技术层面,这个问题也关乎组织管理。当专家签署一份推荐意见时,其雇主必须能够区分专家的独立判断与人工智能施加的影响。最终,如果过于频繁地将决策委托给模型,也可能削弱人们独立做出决策的能力。

© 版权声明
THE END
喜欢就支持一下吧
分享