麻省理工HugAgent研究:访谈能让AI模拟真人观点,但预测新情境回答明显更难
麻省理工等机构提出HugAgent基准,招募54名真实参与者并采集问卷与think-aloud访谈,检验大模型能否预测其在未见过的新情境下的回答,论文入选EMNLP 2026 Main Oral,代码已开源。
访谈能让大模型复现一个人的既有观点,但HugAgent的数据说明这种复现难以外推到没问过的新情境。
- 影响用AI分身或合成受访者做调研、测新品的企业,在已访谈过的问题上参考价值较高,换到未问过的情境误差会明显放大;多聊几轮并不能稳定换来预测力,靠堆访谈量压缩调研成本的做法需要重算收益。
- 参考可考虑在用数字分身替代真人调研前,先选一个本企业高频问题做小规模人机对照,量出差距再定替代范围;值得在评测供应商时单独测新情境下的一致性,而不只看复述已答问题的准确率。