你上一次打开自家官网根目录那个 robots.txt，是什么时候？按11月13日可查的公开资料，Google 已把搜索从「关键词—链接」改造成「研究界面」：AI Mode 与 AI Overviews 用 query fan-out 把一个问题拆成多个子主题、同时发起大量查询，判断单位从「页面匹配关键词」变成「拆解问题并重组证据」。见钛媒体11月13日早报的梳理。这带来一个不太被注意的后果：网站的价值从「被打开」转向「被引用」，而能不能被引用，第一道关是 AI 的抓取程序有没有被允许进门。对品牌的技术与内容负责人来说，这是一项十分钟能查、却极容易被建站模板默认配置搞错的项。
品牌是怎么从AI回答里消失的
消失的过程通常没有报警。搜索排名不动，站长工具里的收录数也没掉，只是品牌在 AI 回答里不再出现。原因在于 AI 回答用的取数路径和传统搜索不是同一条：搜索看的是索引，回答看的是检索与重组，而检索这一层由专门的爬虫负责。把训练用的爬虫和检索用的爬虫一起挡在门外，等于既不让模型学习你，也不让模型在回答时查到你。
这也是为什么这类问题很少被归因到技术侧。内容团队看到的是「AI 里没有我们」，于是加倍发稿；技术团队看到的是「robots 一切正常」，因为规则确实执行了，只是执行的结果不是业务想要的。
训练爬虫和回答爬虫不是一回事
| 抓取程序 | 归属 | 用途 | 屏蔽后的直接后果 |
|---|---|---|---|
| GPTBot | OpenAI | 训练语料抓取 | 内容不进入后续训练，但回答可被检索 |
| OAI-SearchBot | OpenAI | ChatGPT 搜索索引 | 不出现在 ChatGPT 搜索的回答里 |
| ChatGPT-User | OpenAI | 用户提问时实时取页 | 按官方说法可能不遵循 robots |
| ClaudeBot | Anthropic | 训练与检索语料 | 后续内容被排除在训练集外 |
| Claude-SearchBot | Anthropic | 搜索索引 | Claude 搜索结果中的曝光减少 |
| Google-Extended | Gemini 训练与 grounding | 退出 Gemini 使用，不影响搜索排名 | |
| Bytespider | 字节跳动 | 训练与检索 | 影响豆包等入口的可见度 |
这张表最实用的读法是看最后两列。想保住 AI 回答里的位置，检索类必须放行；只想限制训练用途，可以只屏蔽训练类。两者混着挡，是最常见的错误——据阿里云开发者社区的配置实践，把 GPTBot 和 OAI-SearchBot 当成一个东西处理，是配置错误的第一个来源。
Google-Extended 被误读得最多
它不影响搜索排名
很多站点在 robots.txt 里 Disallow 了 Google-Extended，然后以为自己在 Google 搜索里的排名会受影响，于是又整站放开，最后连 Gemini 侧的暴露也没了控制。按 Google 的说法，这个令牌只管 Gemini 的训练与 grounding，不改变搜索收录与排名。把这两件事分开，才能做出「搜索全开、训练可关」的组合。
但它确实影响 Gemini 侧
另一半误读在反方向：以为既然不影响搜索，那就随手屏蔽。结果是品牌在 Gemini 相关入口里的可引用性被自己掐掉，而这类损失不会体现在任何一张排名报表上。判断标准应该回到业务目标：如果 AI 回答是获客路径之一，训练可以谈，检索不能挡。
抓得到不等于读得懂
前端渲染只剩空壳
放行之后还有第二道关。正文如果全靠 JavaScript 在客户端渲染，初始 HTML 里只有一个空的挂载节点，遇到不执行脚本的抓取管线，页面在它眼里就是空白。按博客园的技术拆解，稳妥做法是把关键内容放进服务端渲染或静态生成的 HTML，脚本只负责交互增强。
登录墙和图片里的信息等于不存在
把关键参数、认证信息、价格口径放进图片，或者要求登录后才显示全文，对人可用，对机器无效。AI 提取不到文字，就无法在回答里复述这些信息。可执行的改法是把图片里的结论在正文用文字再写一遍，把公开内容从登录墙后挪出来。
十分钟自查清单
先查权限，再查形态，最后查表述。权限这一层看 robots.txt 与 CDN 的机器人防护设置；形态这一层禁用脚本刷新页面，看核心文字是否还在；表述这一层看品牌名、业务描述、地域范围在官网、工商信息、行业目录里的说法是否一致。三层都过，才谈得上被引用。
可见度这件事，很多时候不是内容输给了竞品，而是门口那道权限输给了自己。先把门打开，再谈内容质量，顺序反了，投入会全部打在看不见的地方。
常见问题
屏蔽 GPTBot 会让品牌从 ChatGPT 回答里消失吗？
不一定。GPTBot 主要负责训练语料，回答时的检索由 OAI-SearchBot 等程序完成。真正会让品牌消失的是屏蔽检索类 UA。
robots.txt 能保护敏感内容吗？
不能。它是爬虫自愿遵守的协议，不具备强制力。敏感内容应通过鉴权与权限控制保护。
放行后多久能在 AI 回答里看到品牌？
没有固定周期。取决于抓取频率、索引更新与问题集的竞争程度，建议用固定问题集按月复测。
用了 CDN 还要单独检查吗？
要。部分 CDN 的机器人防护默认会拦截 AI 爬虫，控制台里的开关与 robots.txt 是两套配置。
