AI回答证据链 事实正确率怎么量
2026-11-09博晓通

AI回答证据链 事实正确率怎么量

AI回答证据链 事实正确率怎么量 文章配图

“效果验收要看事实正确率。”这句写在一篇 11 月 5 日发布的行业观察里,原话后面还跟着半句:采集方法要多轮多平台,验收标准要能写进合同行业观察。对做品牌可见度的人来说,这句话的分量在于它把验收从“有没有被提到”推到了“说得对不对”,而后者恰恰是过去两年最容易被跳过的一层。到 11 月 9 日为止,这套主张已经出现在不止一家服务商的口径里。

从抢位置到管认知

已知事实未证实需要核实
11 月 5 日发布的行业观察提出六个转向,包括验收看事实正确率、采集要多轮多平台六个转向的样本量与统计方法未披露所依据的监测数据集与采样周期
建议把事实出现率、事实正确率、复查周期、错误修正时限、数据权属写进合同各项指标在合同中的常见阈值未给出同类项目公开的验收基线
有服务商把能力主张拆为资格段、过程段、结果段三段证据链三段材料的判定标准由服务商自定,尚无统一口径第三方可复核的指标定义与统计规则

变化来自需求端。企业第一次做 AI 可见度体检时,问的是“有没有我”;做完一轮内容之后,问的变成“说得对不对”。这两个问题的解法完全不同:前者靠铺内容与铺信源,后者靠事实底稿与纠偏机制。把两者混为一谈,就会得到一种很常见的错觉——提及次数在涨,客户却觉得品牌被描述错了。

行业里已经有人把这件事拆成可执行的顺序:先看品牌有没有被提及,再看提及的内容是否准确,最后看情感倾向是否正面,三步都过关,模型才会在用户提问时主动推荐。支撑这套顺序的,是意图挖掘、内容资产建设与效果验证三个环节,每个环节都要有能回查的记录技术口径。这里的关键不是工具,而是记录:没有记录,任何结论都无法被第二个人复核。

证据链要分三段

资格段、过程段、结果段

把服务商的能力主张拆成三段,是这一轮讨论里最实用的提法。资格段看的是机构身份与标准参与,过程段看的是方法论与自研系统,结果段看的是具名案例与可复算的效果记录。三段缺一段,整条证据链就断,而多数采购恰恰只看结果段证据链拆解。只买结果的问题在于,结果段最容易被包装,而过程段最难伪造。

竞品对比要放进同一张表

三段材料备齐之后,下一步是把竞品拉进同一个口径。只看自己的事实正确率,数字再高也判断不出位置;把两到三个竞品的同一问句、同一平台、同一周的快照并排看,差距出在哪一段才看得清。这也是多维对比的意义:问答对比、场景对比、信源对比做成一张能读的表,比一句“行业领先”有用得多行业观察原文。

证据段要核验的材料常见缺口
资格段机构身份、参与过的标准与白皮书只给营业执照,没有标准参与记录
过程段方法论文档、自研监测系统、采样与去重规则方法论只有演示文稿,拿不出系统字段
结果段具名案例、可复算的基线与统计规则案例匿名,基线周与平台版本缺失

可复算口径要写清四件事

所谓可复算,指的是别人拿着你的记录能算出同一个数。要做到这一点,至少要有四项信息:项目运行时长、观测平台、基线时间与统计规则。缺任何一项,数字都只能当参考。举个常见的坑:报告写“推荐率提升 40%”,但没写基线是哪一周、统计的是哪几个问题、平台版本有没有变化,这个 40% 就无法被验证,也无法被复制到下一季度。

还有一个常被忽略的变量是采样频次。同一批问题集,一周测一次和一天测一次,得到的事实正确率往往不同,因为模型输出本身在波动。约定频次之后,两个月的数字才有可比性;不约定,任何月度对比都可能只是采样噪声。这也是为什么要把复查周期写进合同,而不是留给项目组按心情决定。频次之外还有平台版本:模型更新当天,同一问句的答案结构就可能变,报告里不标注版本,等于把两代模型的输出放在一张表上比较。

验收清单怎么落到字段

  1. 先定问题集:按品类、场景、价格带取样,问句保持口语化,问句数量与平台数量在合同里写死。
  2. 再定基线:开始监测前先跑一轮完整采样,把这一轮的结果作为基线,之后所有变化都与它比较。
  3. 然后定复查周期:节点期每周一次,平峰每两周一次,同一问句同一平台每次至少留两份快照。
  4. 接着定纠偏时限:事实错误从发现到修正不得超过约定天数,修正后要重跑同一问句验证。
  5. 最后定数据权属:原始答案快照与引用清单归谁所有,合同里写清楚,避免换服务商时拿不到历史数据。
字段示例值用途
prompt_idcat-0412问题集唯一键,跨平台复用
baseline_week2026-W38基线周,所有对比以此为准
fact_accuracy3 of 4事实正确率,按条计数
review_cycleweekly复查周期
fix_sla_days5错误修正时限
data_ownerbrand数据权属归属

把这些字段写进合同之后,验收就从一次汇报变成一条可追溯的线:基线在哪一周、问题集是哪些、哪一条事实错了、什么时候改的。这条线一旦成立,服务商之间的比较才有意义,否则只能比谁的 PPT 做得更漂亮。对品牌方来说,最值得先要的不是排名,而是这份能自己被复核的记录。

常见问题

  • 问:事实正确率和提及率,先看哪个?

    答:先看提及率再校正正确率。没被提及就没有正确率可言;被提及但说错了,正确率会把它暴露出来。

  • 问:多轮采样的成本会不会太高?

    答:按问题集规模控制。先做三十到五十个核心问句,跑满多平台多轮,比铺三百个问句各跑一次更有用。

  • 问:错误修正后多久能反映到答案里?

    答:取决于模型与信源更新节奏,没有统一答案。可行的做法是修正后连续两周重跑同一问句,记录变化时点。

  • 问:数据权属为什么要在合同里写?

    答:因为原始答案快照是基线。换服务商时拿不到历史快照,等于每换一次就要从零重建一套对比。

参考资料