东京大学团队提出狼人杀基准MIDA,测出GPT等多模态大模型辨谎盲区
东京大学团队提出多模态交互式欺骗评估基准MIDA,用一夜终极狼人杀游戏测试GPT、Gemini、Claude、Qwen、DeepSeek等模型在多人互动中判断谎言的能力,论文已被EMNLP 2026主会接收。
总体准确率会掩盖辨谎短板,多模态模型的感知能力强不等于能推断他人意图,多人互动场景选型不能只看总分。
- 影响智能客服、会议协作、多智能体协作等涉多人互动的场景,现役模型可能误判发言真假与说话者意图;依赖微表情等表观线索判断反而可能失准;总体准确率指标会掩盖真假判断的真实短板。
- 参考涉多人互动的AI应用上线前,可先用带标准答案的小样本测真实误判率,把真假二分类指标与总体准确率分开评估;值得保障对话历史完整输入,而非堆叠视觉帧数。