多数解读把这次模型更新读成「错误率减半」的进步。但把 11 月 7 日的公开披露摆在一起看,真正变了的是错误的分布:整体瞎编率从约 13% 降到约 7%,第三方复测却认为与同类国产模型的差距很小,复杂代码仍明显落后。两个说法并不矛盾,它们量的是不同场景。对依赖 AI 回答做决策的品牌来说,要盯的不是模型进步了多少,而是答案里的每一句引用能不能对上原文。
错误率减半,不等于可以不复核
13% 降到 7% 是个实在的进步,但换个说法更接近体感:每十四句话里还有一句是编的。在购物场景里,这一句可能是一个不存在的优惠、一个错的参数、一个过期的活动条件。用户不会去分辨这是模型的边界还是页面写错了,他记住的是「AI 说的不准」和「这个牌子不靠谱」。
另一组数字说明了问题的规模。同一份报道里,四家 AI 在同一个预算下给出的方案差了一千多元;消保委的调查里,近四成用户遇到过 AI 推荐偏贵的东西。差距这么大,说明大部分错误不是随机噪声,而是可定位的结构问题:规则没更新、商品池不同、平台口径混用。
引用来源是唯一能对账的抓手
先看引用,再看结论
一段没有来源的答案,只能整体信或整体不信;一段带来源的答案,可以逐句对账。这就是为什么可见度监测里,引用域名比提及次数更值得记录。答案引用了官网、权威媒体还是某个不知名的聚合页,决定了这句话的可信上限,也决定了出错时你该找谁。
把对账做成字段
具体到执行,一条记录至少要能回答四个问题:这句话来自哪个页面、页面上的原文是什么、页面什么时候更新、这句话被哪几个平台复述。做到这四件事,一次纠错才能同时修好多个平台的答案,而不是改完一个平台、另外三个还在引用旧页。
| 字段 | 示例值 | 为什么先看它 |
|---|---|---|
| 引用域名 | geekpark.net | 决定这句话的可信上限与纠错对象 |
| 原文摘录 | 品牌被提及的那一句 | 判断是摘要偏差还是原文就错 |
| 页面更新时间 | 2026-11-07 | 规则类信息的有效期底线 |
| 复述平台 | 四家中的三家 | 一次纠错能覆盖的范围 |
- 固定问句:从客服记录里挑三十条真实提问,覆盖品牌、品类与预算场景。
- 抓答案与来源:每条问句在四个平台各跑一次,记录回答原文和所有被链出的域名。
- 对原文:打开引用页逐句比对,标出「原文有误」「摘要偏差」「信息过期」三类。
- 分派修正:原文有误找发布方,摘要偏差补结构化事实,信息过期更新页面时间与内容。
- 复跑验证:修正后一周复跑同一批问句,看同一个错误是否还出现。
把对账做成每月一次的固定动作
一次性的大扫除解决不了这个问题,因为答案会跟着检索池和页面更新一起变。把对账做成月度动作,重点不是跑得多细,而是字段固定、口径不变——只有这样,两个月的数字才能比。比较稳的节奏是:月初跑基线,月中做修正,月末复跑,季度看趋势。
还有一个容易被忽略的收益:对账过程会暴露内容本身的问题。同一个错误被三个平台同时复述,通常说明源页面写错了,而不是模型理解错了。这类问题修一次,收益会持续很久;反过来,只盯着平台投诉、不改源页面,等于每个月都在处理同一个工单。
工具层面也在变。过去对账靠人工翻页,现在多数团队用脚本抓答案和引用域名,人只做最后一步判断。省下来的时间应该投到判断上:同一句话写在活动页和写在评测文章里,可信度不一样,纠错优先级也不一样。这件事没法交给脚本,只能靠对业务的熟悉程度来定。
常见问题
错误率降到 7% 就可以不复核了吗?
不行。7% 是平均值,落到具体品类和具体问句上,错误可能集中在最影响转化的那几句。核对的对象应该是高价值问句,而不是整体比例。
没有引用来源的答案怎么对账?
先补证据。把关键事实写成带时间戳、可被抓取的页面,再观察答案是否开始引用;没有来源的答案只能整体评估可信度,无法逐句修。
四个平台都要跑吗?
至少覆盖用户实际在用的前三到四个。平台之间的引用池重合度不高,少跑一个就会漏掉一整块答案面。










