AI从人在环中走向递归自我改进,出题与判卷授权仍须握在人类手中
量子位转载MiniMax供稿文章称,AI正从人在环中(HIL)走向递归自我改进(RSI),但出题、判卷、授权现阶段必须握在人类手里。
模型自主能力上升后,竞争焦点正从单点性能转向控制权安排,能否把出题、判卷、授权机制跑通,将成为企业采用智能体的前提。
- 影响自主智能体的部署风险从事后纠错前移到事前边界设计,权限范围与人工确认点要先于上线定好;厂商可能因安全问题推迟或取消发布,选型排期需留缓冲;供应商自报的评测成绩可信度下降,独立验证成本应计入预算。
- 参考可考虑盘点现有AI自动化流程中的不可逆动作清单,对对外提交、数据访问等环节增设人工确认点;值得在供应商评估中要求披露越权事件与发布变更记录,再据此划定试点授权范围。