跳到正文

#安全风险

今日 2 条
6月16日周二
  1. Google DeepMind:Blog50

    Google DeepMind 发布 AI Control Roadmap 智能体安全框架

    Google DeepMind 发布 AI Control Roadmap,在传统对齐之外把内部 AI 智能体当作潜在未对齐来设防的系统级安全框架,并称其可为更广泛行业提供参考。

    决策要点

    Google 把自家先进智能体按潜在未对齐的内部威胁设防,智能体安全正从模型对齐扩展到系统层控制。

    • 影响企业部署智能体时,模型对齐和基础防护不足以兜底,监控与权限分级等系统层措施要纳入部署方案;官方数据显示多数风险来自误解或过度执行而非攻击,事故审计与响应机制需同步建设。
    • 参考可考虑参照其思路盘点自家智能体监控的覆盖率、召回率和响应时长三项指标;值得为批量删除数据等高风险操作预设实时拦截,低风险操作用事后审查即可。