03 RESEARCH
❯ METR 评估显示 Anthropic 内部模型得分超过 Opus 5.5
最强内部模型超过 Opus 5.5METR于 11 月 5 日发布评估,披露 Anthropic 三款尚未发布的内部模型。Model 2、Model 3、Model 4 分别于今年 7 月、8—9 月、9—10 月完成训练。其中 Model 4 的 AECI 综合能力指数为 178.6,比 Opus 5.5 高约 4 分,相当于 Anthropic 按较早每年约 15 分的速度进步三个月。该指数汇总多项内部和外部测试,用于比较模型能力的变化。
能力进步速度约为此前的 1.9 倍METR 估计,自 2025 年 10 月以来,Anthropic 在这些明确任务上的能力进步速度达到此前的约 1.9 倍,95% 置信区间为 1.5—2.8 倍。评估认为,训练算力规模增长的加速无法解释这一变化,AI 辅助研发很可能贡献了大部分提速,但对具体贡献的估计仍有较大不确定性。
从想法到实验耗时缩短一位受访研究员估计,AI 辅助使从产生想法到运行实验的时间减少约 80%。其他访谈也提到,写代码所需的时间下降,研究员可以同时尝试更多实验。METR 指出,最重要训练环节中的重大贡献,目前仍主要由 AI 辅助研究员完成。
公司将另发研发分析Anthropic 因商业敏感性删去了大量证据,METR 认为这限制了公众独立检验结论的能力。联合创始人 Sam McCandlish承认删减带来的代价,并计划在未来几周发布公司自己的研发进展分析,说明其与负责任扩展政策的关系。
▮ SIGNAL写代码和搭建实验所需的时间下降,让同一研发团队能够验证更多想法,AI 对模型进步的作用因此开始延伸到研发过程本身。