“效果验收要看事实正确率。”这句写在一篇 11 月 5 日发布的行业观察里,原话后面还跟着半句:采集方法要多轮多平台,验收标准要能写进合同行业观察。对做品牌可见度的人来说,这句话的分量在于它把验收从“有没有被提到”推到了“说得对不对”,而后者恰恰是过去两年最容易被跳过的一层。到 11 月 9 日为止,这套主张已经出现在不止一家服务商的口径里。
从抢位置到管认知
变化来自需求端。企业第一次做 AI 可见度体检时,问的是“有没有我”;做完一轮内容之后,问的变成“说得对不对”。这两个问题的解法完全不同:前者靠铺内容与铺信源,后者靠事实底稿与纠偏机制。把两者混为一谈,就会得到一种很常见的错觉——提及次数在涨,客户却觉得品牌被描述错了。
行业里已经有人把这件事拆成可执行的顺序:先看品牌有没有被提及,再看提及的内容是否准确,最后看情感倾向是否正面,三步都过关,模型才会在用户提问时主动推荐。支撑这套顺序的,是意图挖掘、内容资产建设与效果验证三个环节,每个环节都要有能回查的记录技术口径。这里的关键不是工具,而是记录:没有记录,任何结论都无法被第二个人复核。
证据链要分三段
资格段、过程段、结果段
把服务商的能力主张拆成三段,是这一轮讨论里最实用的提法。资格段看的是机构身份与标准参与,过程段看的是方法论与自研系统,结果段看的是具名案例与可复算的效果记录。三段缺一段,整条证据链就断,而多数采购恰恰只看结果段证据链拆解。只买结果的问题在于,结果段最容易被包装,而过程段最难伪造。
竞品对比要放进同一张表
三段材料备齐之后,下一步是把竞品拉进同一个口径。只看自己的事实正确率,数字再高也判断不出位置;把两到三个竞品的同一问句、同一平台、同一周的快照并排看,差距出在哪一段才看得清。这也是多维对比的意义:问答对比、场景对比、信源对比做成一张能读的表,比一句“行业领先”有用得多行业观察原文。
| 证据段 | 要核验的材料 | 常见缺口 |
|---|---|---|
| 资格段 | 机构身份、参与过的标准与白皮书 | 只给营业执照,没有标准参与记录 |
| 过程段 | 方法论文档、自研监测系统、采样与去重规则 | 方法论只有演示文稿,拿不出系统字段 |
| 结果段 | 具名案例、可复算的基线与统计规则 | 案例匿名,基线周与平台版本缺失 |
可复算口径要写清四件事
所谓可复算,指的是别人拿着你的记录能算出同一个数。要做到这一点,至少要有四项信息:项目运行时长、观测平台、基线时间与统计规则。缺任何一项,数字都只能当参考。举个常见的坑:报告写“推荐率提升 40%”,但没写基线是哪一周、统计的是哪几个问题、平台版本有没有变化,这个 40% 就无法被验证,也无法被复制到下一季度。
还有一个常被忽略的变量是采样频次。同一批问题集,一周测一次和一天测一次,得到的事实正确率往往不同,因为模型输出本身在波动。约定频次之后,两个月的数字才有可比性;不约定,任何月度对比都可能只是采样噪声。这也是为什么要把复查周期写进合同,而不是留给项目组按心情决定。频次之外还有平台版本:模型更新当天,同一问句的答案结构就可能变,报告里不标注版本,等于把两代模型的输出放在一张表上比较。
验收清单怎么落到字段
把这些字段写进合同之后,验收就从一次汇报变成一条可追溯的线:基线在哪一周、问题集是哪些、哪一条事实错了、什么时候改的。这条线一旦成立,服务商之间的比较才有意义,否则只能比谁的 PPT 做得更漂亮。对品牌方来说,最值得先要的不是排名,而是这份能自己被复核的记录。
常见问题
问:事实正确率和提及率,先看哪个?
答:先看提及率再校正正确率。没被提及就没有正确率可言;被提及但说错了,正确率会把它暴露出来。
问:多轮采样的成本会不会太高?
答:按问题集规模控制。先做三十到五十个核心问句,跑满多平台多轮,比铺三百个问句各跑一次更有用。
问:错误修正后多久能反映到答案里?
答:取决于模型与信源更新节奏,没有统一答案。可行的做法是修正后连续两周重跑同一问句,记录变化时点。
问:数据权属为什么要在合同里写?
答:因为原始答案快照是基线。换服务商时拿不到历史快照,等于每换一次就要从零重建一套对比。










