何恺明团队发布视觉原生Harness框架VISTA
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生的Harness框架VISTA,让现有多模态模型保存原始画面并在推理时回看、放大检查细节,无需重新训练。
VISTA表明不改基础模型、只改变视觉信息的保存和调取方式,就能明显抬升多模态智能体在交互任务中的表现。
- 影响企业增强视觉类智能体时可先在框架层投入,成本低于换模型或微调;论文证据集中在游戏、迷宫等基准,距离生产环境的具身和操作类任务还有距离。
- 参考可考虑盘点现有智能体项目中历史画面被文字摘要替代的环节,试点保存原始画面加按需回看;值得等VISTA复现或开源情况明朗后再评估投入。