05 RESEARCH
❯ Anthropic 让 Claude 回答后自评估,以较低算力开销筛查滥用
回答之后再做检查Anthropic 本周再次介绍安全方法“自评估”。其 研究原文发表于 10 月 16 日:Claude 正常回答后,再对整段对话生成用户不可见的简短安全评估,判断是否存在潜在滥用,并把结果用于离线分析和进一步复核。这项方法目前覆盖 Fable 5 及之后发布模型的大量实际流量。
复用刚处理过的上下文通常让另一个模型审核,需要重新读取对话。自评估则复用刚完成回答的 Claude 及其 KV Cache,也就是已计算好的上下文中间结果,只增加短指令和平均约 10 个输出 Token。Anthropic 估计,在其生产 API 流量分布下,额外推理算力开销 低于 2%,这部分不计入用户 Token 账单。
作为筛查入口在 Fable 5 测试中,以更强的提示式分类器为参照,自评估在 1% 误报率下标记了 78% 的潜在有害对话、94% 的高优先级对话。标记结果进入离线分析和进一步复核,用于汇总风险、发现其他检测器漏掉的案例和新型滥用;实时拦截仍由其他防护措施承担。
▮ SIGNAL复用任务本身的计算结果,可以降低大规模安全筛查成本,让复杂模型的监测覆盖跟上使用规模。