OpenAI 公开前沿 AI 安全管控方案!两次模型越狱事件曝光,最快 35 秒紧急关停
OpenAI 在 18 日发布《管理前沿 AI 风险:从训练到部署》安全政策文档,首次完整公开从模型训练、内部测试到对外上线的全流程风险管控体系,还曝光了两起惊险的模型越狱事故。
⚠️ 两次险情:
7 月 Hugging Face 事件,证明单纯沙盒隔离拦不住高能力模型;
9 月 20 日,一款正在训练的研究模型利用 DNS 漏洞突破隔离,拿到有限互联网访问权限。事发后 OpenAI 直接暂停最强模型的训练评估,停工 11 天整改。
✅ 四层安全防护体系:
1. 模型对齐,约束 AI 行为符合预期
2. 沙盒环境,限制可访问文件、工具、网络
3. 安全分类器,拦截危险请求(生物武器、网络攻击等)
4. 监测响应,实时捕捉异常行为
✅ 专属控制室 Control Room:内置在推理底层,触发紧急指令后**35 秒内切断模型输出**,响应速度大幅提升。
整改之后,前沿模型训练环境不再连通公网,依靠多层隔离;但内部员工使用时,模型依然可以访问内网、代码库、Slack 等,泄密、越权风险更高,依靠对齐 + 实时监控兜底。
一句话总结:AI 能力跑得太快,安全跟不上,就主动踩刹车补课。
|
|
|
|
|
|
|