30% 到 60%、44 家媒体、25 家封锁：截至 11 月 12 日的公开信息，这三个数字拼出的不是一次算法更新，而是一条容易被忽略的边界。Five Blocks 在 11 月 5 日发布的研究检查了 44 家主要新闻媒体的 robots.txt，再比对 8 个 AI 引擎在 14392 个答案中的引用情况，结论很直接：封锁了爬虫的媒体，在对应引擎里几乎没有引用；而同一批媒体在 Google 的新闻 AI 答案中，出现率仍有 69%。
44 家媒体的 robots.txt 说了什么
这组数字最有价值的地方在于它把「封锁」的后果量化了。过去讨论爬虫管理，双方各说各话：媒体担心内容被无偿使用，引擎方强调抓取是检索的前提。这次研究给出了一个可对照的结果——同样是 25 家媒体，在 Gemini app 里是零引用，在 Google AI Mode 的新闻答案里却能达到 69% 的出场率。
差别不在内容质量，而在放行规则。Google 系的 AI 答案大量沿用既有的搜索索引，抓取路径与常规搜索重叠；而 Gemini app 与 Perplexity 依赖各自独立的爬虫标识，被 robots.txt 挡住之后，就真的没有任何入口。同一份稿件，在两个体系里的命运可以完全不同。
引用隔日只剩三到六成
研究里还有一个更少被引用的细节：新闻答案中的链接，隔日只剩 30% 到 60% 仍留在 AI 回答中。也就是说，今天被引用的页面，明天有一半左右的概率不再出现。引用不是一次性的资产，而是一条持续衰减的曲线，衰减速度取决于问题被重复提问的频率、信源池的更新节奏，以及同一话题下新增内容的竞争。
被封锁的引擎为什么不再引用
原因并不复杂。生成式引擎组织答案时依赖检索增强：先召回候选片段，再按相关性与可信度重排，最后用语料组织回答。召回这一步必须能读到页面，读不到就没有候选，后面所有环节都无从谈起。封锁爬虫相当于把自己从候选池里删除，而不是降低权重。
这也解释了为什么「排名还在、流量却掉了」会同时发生。传统搜索的排名由链接与权重决定，只要页面还在索引里，位置就还在；生成式引擎不维护这样一份稳定索引，它每次提问都重新召回。被封锁的站点在这套机制里没有位置可言，连「排第几」都无从计算。
提及和引用是两件事
| 引擎 | 提及品牌的比例 | 附引用链接的比例 | 监测含义 |
|---|---|---|---|
| Gemini | 83.7% | 21.4% | 只用引用数会低估影响力 |
| ChatGPT | 20.7% | 87% | 引用接近提及，可用引用近似 |
Semrush 在 11 月 3 日发布的 Ghost Citations 研究给出了这组对比。以 asana.com 为例，Gemini 每产生 1 次引用，就伴随约 11 次纯提及；在 Asana 的全部 AI 提及中，Gemini 占 24%，ChatGPT 占 15.4%。如果只统计引用链接，Asana 在 Gemini 里的表现会被低估一个量级。
只追引用会低估多少
低估的幅度可以用同一个案例反推：按引用算，Gemini 的贡献接近 ChatGPT 的四分之一；按提及算，Gemini 反而更高。两个结论都不算错，只是回答的问题不同——引用衡量的是「有没有把你的页面当作信源」，提及衡量的是「有没有在答案里说出你的名字」。做诊断时把两者混在一张表里，就会得出自相矛盾的结果。
先查封锁 再谈优化
- 抓取目标站点的 robots.txt，确认 GPTBot、OAI-SearchBot、PerplexityBot、Gemini 与 Claude 相关标识是否被误封。
- 检查 CDN 与防火墙规则，排除按 UA 或按频率的拦截。
- 用无登录窗口在目标引擎里提三个核心问题，记录是否被点名、是否附链接。
- 把结果与搜索侧的收录、排名数据分开记录，避免两套口径混用。
| 字段 | 示例值 | 怎么看 |
|---|---|---|
| 爬虫放行状态 | GPTBot 放行，PerplexityBot 拦截 | 拦截即等于退出该引擎候选池 |
| 提及次数 | 20 个问题中 6 次被点名 | 分母是问题数 |
| 引用次数 | 20 个问题中 2 次附链接 | 分母是回答条数 |
| 次日留存 | 60% 链接仍在 | 低于一半说明内容未进入稳定池 |
还有一个常被忽略的前提：传统排名与 AI 引用不是同一套排序。Semrush 的公开分析显示，90% 的 ChatGPT 引用来自 Google 排名 21 位甚至更低的页面，自然搜索流量与 AI 引用之间的相关性只有 0.05。这意味着封锁检查做完之后，仍要单独建立一套语料侧的观察，而不是把 Search Console 的数字平移过来。
Victorius 在 11 月 4 日发布的季度研究提供了另一半图景：在其追踪的类别查询中，97.5% 出现了 AI Overviews，而被 Google AI 引用的页面绝大多数本身就是该查询的有机排名前列。Google 系仍在经典搜索的延长线上，非 Google 系更看重可引用性与品牌实体信号。两套逻辑并存，正是「同一品牌在两个体系里表现相反」的根源。
常见问题
封锁 AI 爬虫一定会掉引用吗？
对依赖独立爬虫的引擎基本成立。研究里被封锁的 25 家媒体在 Gemini app 内是零引用，而在沿用既有索引的 Google AI 答案中仍有较高出现率。
引用隔日只剩三到六成，说明监测没意义吗？
不是。它说明单次快照不能定性，需要按周期重复同一问题集，看趋势区间而不是某一天的数字。
提及率和引用率该以哪个为准？
按引擎区分。Gemini 类以提及为主，ChatGPT 类引用比例高，可以用引用近似；两者分母不同，不能相加。
排名靠前的页面为什么不等于被引用？
因为两套排序依赖的信号不同。生成式引擎看语义密度与可引用性，传统搜索看链接与权重，二者相关性很低。
