南京大学团队提出TestPrism基准,AI写测试可靠性被评测标准高估一倍
南京大学刘佳恒团队提出测试生成基准TestPrism,从17个公开Benchmark收集任务,测试集含300个任务和3000个带标签候选实现,核心指标JSF要求测试在原始代码上失败、接受所有正确实现并拒绝所有错误实现。
现有基准对AI生成测试的可靠性存在系统性高估,Agent自测通过不等于代码可靠,采信AI编程成果时应留出质量余量。
- 影响依赖Agent自写测试做验收的团队,漏检与误伤风险会高于传统基准分数显示的水平;工具选型若只对比单一参考类成绩,容易高估真实能力;论文显示改进生成流程也能提升可靠性,不必只押注更强模型。
- 参考可考虑在AI编程试点中要求生成的测试先经人工抽检或多实现交叉验证再作验收依据;评估编程Agent时值得把多实现联合通过率这类更严口径纳入对比清单。