“22 个 AI 买手,15 道购物题,42.8% 没及格。”这句话来自 Visa 11 月 5 日发布的第一份 Agentic Commerce Benchmark,12 家实验室的 22 个模型参加测试,总通过率 57.2%;更值得琢磨的是后半句——没及格的里面有 54% 照样把单下了。对做品牌内容的人来说,这份卷子第一次把“被 AI 正确引用”变成了可以打分的指标。截至 11 月 15 日的公开报道,这份基准仍是唯一一份公开的 AI 购物能力考卷,它测的不是模型聪不聪明,而是 AI 回答能不能支撑一次正确的购买。
先看清这张考卷考了什么
考卷设计的巧妙之处在于“不买”也是正确答案。题目故意把需求说一半:想买电视,提一句亲戚推荐的牌子,说手里有会员卡,剩下的尺寸、预算、设备兼容性都要模型自己问出来。问全了,还要判断有没有一件真正合适;没有合适的,正确动作是劝用户别买。敢不敢说这钱别花,才是这张卷子真正在考的东西。
对做品牌可见度的人来说,这个设计揭示了一件不舒服的事:AI 回答的质量,一半取决于模型问不问,一半取决于页面答不答。模型那一半你控制不了,页面那一半完全在你手上。
提问差异比模型差异更值得看
会问的像导购,不会问的像收银机
按提问多少分组,问得最多的五个模型通过率 70.2%,问得最少的五个只有 44.4%,差了近二十六个百分点。按价格分也类似,贵的那组 67.1%,便宜的那组 50.2%。这组数字的含义很直接:决定成败的不是参数量,是肯不肯多问一句。品牌能做的,是把用户最常被追问的那几个问题,提前写在商品页上。
稳定性比单次正确更重要
同一模型、同一题、考三遍,三遍全过的组合只有 34.2%。这意味着一次答对证明不了什么。品牌做监测时如果只看单次结果,很容易得出乐观结论;按月看趋势、按周看波动,才能判断回答是否稳定。
引用门槛拆成三步
| 环节 | 要解决的问题 | 可核验的动作 |
|---|---|---|
| 抓取 | 页面能不能被检索到 | 检查结构化数据与正文是否包含关键参数 |
| 抽取 | 参数是不是明确数值 | 把“大容量”改成带单位的数字 |
| 核对 | 说法有没有第三方佐证 | 送测报告、行业白皮书、渠道方数据 |
三步里最容易跳过的是第三步。品牌自述的内容,模型在整合时会打折;有第三方核对的细节,才更容易被当成可信来源。这也是为什么同一套参数写在官网和写在检测报告里,被引用的概率完全不同。
一个可操作的做法,是把商品详情页当成问答稿来写:把用户最可能追问的五个问题做成小节标题,每个标题下先给一句结论,再给一个带单位的数字,最后补一句适用边界。模型抽取时更偏好这种结构,真实用户读起来也不费劲,同一份内容能同时服务两个读者,而这两件事过去在品牌内部通常由两个部门各写一版。
把测试变成日常动作
方法不复杂:固定一组与品类直接相关的问题,固定周期在主要 AI 平台重复提问,记录是否出现、出现在第几段、描述是否准确。三个字段坚持四周,就能画出自己的基线。基线之上再谈优化,才不会把模型版本的波动误当成策略生效。
- 问题库十到二十个高意图问题,覆盖比价、选型、避坑三类场景。
- 记录格式是否出现、位置、准确性三列,缺一列就无法定位问题。
- 复测节奏周记录、月趋势,四周为一个观察窗口。
常见问题
42.8% 的失败率,对品牌意味着什么?
意味着 AI 回答在参数层面并不可靠,而参数正是品牌最想被准确传达的部分。品牌无法控制模型问不问,但可以控制页面上的参数是否明确一致。
为什么问得多的模型通过率高?
因为购物决策依赖缺失信息。会追问尺寸、预算、兼容性的模型把决策变量补齐了;不问的只能按默认值猜。品牌应把常见追问的答案直接写在页面上。
引用门槛具体指什么?
三件事:信源可被抓取、参数可被抽取、说法可被第三方核对。三者缺一,回答里就可能出现一个模糊版本,而模糊版本通常不带品牌名。
多久复测一次比较合理?
按周复测问题库,按月看趋势。模型版本更新频繁,单周波动没有意义,连续四周的方向才有参考价值。











