Hugging Face 政策负责人称派驻第三方评估者难成 AI 安全简单解法
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,在 AI 机构内派驻第三方评估者难成安全问题的简单解法,当前 AI 评测方法复杂且不成熟,评测之间难以有效比较,结果可信的前提是可复现,开放权重有助于此。
AI 基准评测仍是不成熟且难以互相比较的领域,选型若只依赖公开跑分,参考价值正在下降。
- 影响只看公开跑分选型可能误判模型在自家工具链中的真实表现;评测随模型迭代快速失效,验证需持续重做;第三方评估与治理标准尚未统一,合规参照有限。
- 参考可考虑把公开跑分降级为初筛,用自家 harness 和真实任务复测再定采购;值得盘点在用的智能体应用,把工具链单独纳入评估范围。