苹果新研究提出 iPrefBench 基准,移动端 Agent 执行强但个性化弱
苹果团队提出 iPrefBench 基准,在可执行 iOS 环境中以 26 个应用、130 个未完全指定任务和围绕同一用户构造的 3051 条活动记录,评估移动端 Agent 面对模糊请求时应从历史推断还是向用户追问(论文 https://arxiv.org/abs/2610.34735)。
移动端 Agent 执行界面操作已接近可用,短板转向个性化,推断与追问的分寸成为新的评测与选型维度。
- 影响面向个人用户的助理类 Agent 光看任务完成率会掩盖猜错意图的风险,选型需把个性化单列评测;加追问环节能减少漏问,但会换来更多打扰,两种成本要一起算。
- 参考可考虑用信息不完整的任务实测候选 Agent,把可推断与必须询问的场景分开打分;值得为预订、支付这类高风险操作先定一个强制确认清单。