瞎编率减半 引用来源还得逐条对账
2026-11-10博晓通

瞎编率减半 引用来源还得逐条对账

瞎编率减半 引用来源还得逐条对账 文章配图

多数解读把这次模型更新读成「错误率减半」的进步。但把 11 月 7 日的公开披露摆在一起看,真正变了的是错误的分布:整体瞎编率从约 13% 降到约 7%,第三方复测却认为与同类国产模型的差距很小,复杂代码仍明显落后。两个说法并不矛盾,它们量的是不同场景。对依赖 AI 回答做决策的品牌来说,要盯的不是模型进步了多少,而是答案里的每一句引用能不能对上原文。

错误率减半,不等于可以不复核

已知事实未证实需要核实
腾讯公布新模型「瞎编」比例从约 13% 降到约 7%这个比例按什么口径统计、样本是什么分任务类型的错误率分布
第三方复测认为与同类国产模型差距很小,复杂代码仍明显落后复测使用的题目与评分标准同一批题目上的横向对比数据
媒体实测同一 2500 元预算在四家 AI 出方案,结果相差一千多元;38.79% 的用户遇到过推荐偏贵价格偏差里有多少来自信息过期偏差在品类之间的分布

13% 降到 7% 是个实在的进步,但换个说法更接近体感:每十四句话里还有一句是编的。在购物场景里,这一句可能是一个不存在的优惠、一个错的参数、一个过期的活动条件。用户不会去分辨这是模型的边界还是页面写错了,他记住的是「AI 说的不准」和「这个牌子不靠谱」。

另一组数字说明了问题的规模。同一份报道里,四家 AI 在同一个预算下给出的方案差了一千多元;消保委的调查里,近四成用户遇到过 AI 推荐偏贵的东西。差距这么大,说明大部分错误不是随机噪声,而是可定位的结构问题:规则没更新、商品池不同、平台口径混用。

引用来源是唯一能对账的抓手

先看引用,再看结论

一段没有来源的答案,只能整体信或整体不信;一段带来源的答案,可以逐句对账。这就是为什么可见度监测里,引用域名比提及次数更值得记录。答案引用了官网、权威媒体还是某个不知名的聚合页,决定了这句话的可信上限,也决定了出错时你该找谁。

把对账做成字段

具体到执行,一条记录至少要能回答四个问题:这句话来自哪个页面、页面上的原文是什么、页面什么时候更新、这句话被哪几个平台复述。做到这四件事,一次纠错才能同时修好多个平台的答案,而不是改完一个平台、另外三个还在引用旧页。

字段示例值为什么先看它
引用域名geekpark.net决定这句话的可信上限与纠错对象
原文摘录品牌被提及的那一句判断是摘要偏差还是原文就错
页面更新时间2026-11-07规则类信息的有效期底线
复述平台四家中的三家一次纠错能覆盖的范围
  1. 固定问句:从客服记录里挑三十条真实提问,覆盖品牌、品类与预算场景。
  2. 抓答案与来源:每条问句在四个平台各跑一次,记录回答原文和所有被链出的域名。
  3. 对原文:打开引用页逐句比对,标出「原文有误」「摘要偏差」「信息过期」三类。
  4. 分派修正:原文有误找发布方,摘要偏差补结构化事实,信息过期更新页面时间与内容。
  5. 复跑验证:修正后一周复跑同一批问句,看同一个错误是否还出现。

把对账做成每月一次的固定动作

一次性的大扫除解决不了这个问题,因为答案会跟着检索池和页面更新一起变。把对账做成月度动作,重点不是跑得多细,而是字段固定、口径不变——只有这样,两个月的数字才能比。比较稳的节奏是:月初跑基线,月中做修正,月末复跑,季度看趋势。

还有一个容易被忽略的收益:对账过程会暴露内容本身的问题。同一个错误被三个平台同时复述,通常说明源页面写错了,而不是模型理解错了。这类问题修一次,收益会持续很久;反过来,只盯着平台投诉、不改源页面,等于每个月都在处理同一个工单。

工具层面也在变。过去对账靠人工翻页,现在多数团队用脚本抓答案和引用域名,人只做最后一步判断。省下来的时间应该投到判断上:同一句话写在活动页和写在评测文章里,可信度不一样,纠错优先级也不一样。这件事没法交给脚本,只能靠对业务的熟悉程度来定。

常见问题

  • 错误率降到 7% 就可以不复核了吗?

    不行。7% 是平均值,落到具体品类和具体问句上,错误可能集中在最影响转化的那几句。核对的对象应该是高价值问句,而不是整体比例。

  • 没有引用来源的答案怎么对账?

    先补证据。把关键事实写成带时间戳、可被抓取的页面,再观察答案是否开始引用;没有来源的答案只能整体评估可信度,无法逐句修。

  • 四个平台都要跑吗?

    至少覆盖用户实际在用的前三到四个。平台之间的引用池重合度不高,少跑一个就会漏掉一整块答案面。

参考资料