03 RESEARCH
❯ OpenAI 引入四家外部机构深入评估模型安全,向研究人员开放内部系统
开放内部评估OpenAI 与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,启动第一阶段嵌入式安全评估。机构将在约定范围内接触部分内部模型、训练和评估数据、监控系统及研究人员,检查模型行为和安全措施。
各机构分工Apollo 将研究模型是否可能暗中违背开发者意图,以及现有措施能否发现这种行为。METR 计划检查 OpenAI 最大规模强化学习训练中的不一致行为及监控遗漏;Transluce 将评估训练后安全测试的覆盖范围与质量,Goodfire 则使用可解释性工具分析模型内部。
访问与披露需要接触敏感机密信息的评估人员将在 OpenAI 现场使用公司设备工作。评估机构保留发表结果的独立性,但 OpenAI 可按约定删去保密信息,也可在安全问题需要修复时请求延迟披露。Apollo 和 Goodfire 接受报酬;METR 和 Transluce 不接受评估报酬,但可能使用 API 额度或算力。
从产品测试走向训练过程项目建立在 OpenAI 过去与第三方机构合作的基础上。更深入的访问有助于发现公开产品测试难以观察到的问题,也要求各方处理商业机密、评估范围和结果公开之间的关系。
▮ SIGNALAI 安全评估正从发布前测试产品,转向检查训练和内部使用过程;外部机构实际能够看到多少信息,将决定监督的价值。