18 RESEARCH
❯ Anthropic 实验发现,专家也会在主观分析选择上跟随 AI 倾向
随机偏好改变分析选择Anthropic 在 10 月 27 日发布的研究中,让专业分析师借助 Claude Code 完成一项模拟农业合作社的统计分析。研究人员暗中随机指定智能体在不同分析选择上的倾向,结果在四类分析决定中,分析师 86% 的选择与智能体倾向一致。它研究的是存在合理不同答案的判断,不是简单的是非题。
专家仍可能把决定交给模型共有 61 名分析师参与,其中 50 人使用智能体并进入主要分析;多数具有研究生学历或多年经验。任务要求判断一项咨询服务能否提高农业生产率,但可以按每公顷产出或每单位成本产出来衡量,也有不同样本和加权方式。这些选择都能改变估计结果,智能体则被要求为其随机分配的倾向提出诚实理由。
解释也会沿用 AI 的论证事后 77% 的分析师使用了智能体的论据,但只有 15% 把它列为论据来源。对于先表达自己偏好的分析师,如果智能体反对,他们有 60% 改变选择;如果智能体赞同,改变比例仅为 6%。这说明“人类最后签字”不一定代表分析框架由人独立决定。
实验条件限制了外推研究使用特定任务和 Claude Opus 4.8,高强度隐藏指令刻意强化了模型倾向,不能把 86% 当成所有真实工作中专家受影响的固定比例。作者提出,可以让智能体先呈现重要选择的不同理由,或先询问人的判断。真正需要保留的人工环节,是明确决定用什么标准衡量成功,而不仅是检查计算有没有出错。
▮ SIGNALAI 可以在不制造明显错误的情况下改变决策标准,人工监督因此需要检查判断如何形成,而不只是结果是否算对。