截至 11 月 7 日的公开信息，11 月的模型榜单给出了三个不一致的答案：SuperCLUE 的月度榜单里，Gemini-4-Argon 总分第一、Kimi-K3.1-Pro 在国内模型中居首；LMArena 的盲测 Elo 把 Gemini 4 Carbon 与 Claude Opus 5.5 家族顶在前列；Artificial Analysis 的智能指数里，Kimi K3.1 Pro 与腾讯 Hy4 占据中国模型前两席。分项数据更能说明问题：Gemini-4-Argon 在超长上下文拿到 95.63 分，GPT-6.1-Sol 的数理推理是 76.32 分，Kimi-K3.1-Pro 的幻觉控制以 67.78 分领跑国内。对做 AI 可见度的品牌团队来说，这不是评测翻车，而是一个直接的方法论提醒：不要用一个平均数描述多个引擎。
三份榜单给出三个答案，这不是评测失误
榜单分裂的根源是维度不同。客观分项测的是「做对一道题」的能力，盲测测的是「对话是否顺手」的体验，智能指数则是多个任务的加权。一个模型可以在幻觉控制上领先，却在主观盲测中落后；也可以在超长上下文上统治，却在数理推理上被反超。这不矛盾，只是「强」的定义分叉了。
对品牌方的启示很直接：如果模型能力本身在不同维度上分叉，那么由模型生成答案的引用行为，也会在不同引擎上分叉。用一个引擎的结果代表全部，等于假设所有模型的行为一致，而这个假设已经被榜单否掉了（微博文章对 11 月模型榜单分裂的分析）。
分引擎差异在品牌侧同样成立
监测侧的经验数据可以印证这一点。以固定提问包向多个引擎提问，同一个品牌在不同引擎的提及率差异可能极大：有的能到六七成，有的只有两成左右。原因在于各引擎的训练语料构成、检索策略与内容偏好不同，对同一批信源的采信程度也不一样。
差异还体现在位置上。有的引擎倾向于在回答开头给候选清单，品牌只要进入清单就靠前；有的引擎倾向于先给判断标准再给例子，品牌出现在例子里的位置更靠后。位置不同，被点击的概率差好几倍，而「是否被提及」这个指标看不出这个差别。
| 观察维度 | 在不同引擎上的表现 | 对监测的要求 | 常见误判 |
|---|---|---|---|
| 提及率 | 高低差异可达数倍 | 按引擎分列，不取平均 | 用平均数掩盖短板 |
| 位置分布 | 清单式与叙述式并存 | 记录顺位与占位形式 | 只统计是否出现 |
| 引用来源 | 偏好的信源层级不同 | 分引擎记录引用链接 | 合并统计信源结构 |
| 描述准确性 | 幻觉率与口径松紧不同 | 抽检关键事实项 | 把「提到」当「说对」 |
提及率必须分引擎，平均数会骗人
把不同引擎的提及率平均成一个数，是最常见的误判。平均值看起来稳定，实际上把强项和短板一起抹平了：某个引擎已经稳定进入前三，另一个引擎几乎零出现，平均下来是「中等」，而实际上一个可以放大、一个必须补课（探测监控的分引擎矩阵说明）。
版本变化要记进监测日志
模型升级会改变回答分布，这一点在榜单换代时尤其明显。监测记录里如果不标注引擎版本，跨期对比就会把「模型换了」误读成「优化有效」或「优化失效」。规范做法是把版本号写进日志，跨版本只比趋势方向，不比具体数值。
监测表要按引擎分行
结构上最简单的改法，是把监测表从「一行一个问题」改成「一个问题多行引擎」。同一行内记录提及与否、顺位、引用来源与关键事实是否准确。这样横向能看同一引擎的时间变化，纵向能看同一问题的跨引擎差异。
汇报时再补一层加权。权重可以按目标客群在各引擎的分布来定，也可以按业务贡献来定，但权重依据必须写清楚。只报综合分而不报分项，等于把差异藏起来；只报分项不报综合，管理层又难以判断整体位置（GEO 的推荐命中率与监测口径）。
最后要接受一件事：没有一个引擎的结果可以代表全局，也没有一次采样可以代表趋势。分引擎、固定问题、固定频率，这三件事做到了，可见度这个数才有讨论的基础。
常见问题
模型榜单互相矛盾，说明评测不可信吗？
说明评测维度不同。有的榜单测客观分项，比如超长上下文、数理推理、幻觉控制；有的测人类偏好，比如对话质感与指令跟随。维度不同，排名自然不同。看懂维度比记住名次有用。
品牌可见度为什么要按引擎分开统计？
因为各引擎的训练语料、检索策略与内容偏好都不同。同一个品牌在有的引擎提及率能到六七成，在另一些只有两成左右。只看平均数会把强项与短板一起抹平，最后不知道该补什么。
分引擎之后，汇报时怎么给一个总数？
可以给加权后的综合分，但必须同时给出各引擎的分项与权重依据。只报综合分，等于把差异藏起来；只报分项不报综合，管理层又难以判断整体位置。两者都要有。
引擎升级之后，历史数据还能比吗？
不能直接比。模型版本变化会改变回答分布，基线需要重设。规范做法是在监测记录里标注引擎版本，跨版本对比时只比趋势方向，不比具体数值。
