AI搜索引擎能爬到你的网站吗——GEO第一步的可抓取性自查清单

上周帮一家做环保设备的客户排查GEO效果，文章发了两个月，AI搜索一次都没引用过。我一开始怀疑是内容问题，翻来覆去查了一下午，最后发现他们服务器的robots.txt把Bytespider拦了——这是字节跳动的爬虫，豆包搜索就是靠它抓网页的。内容写得再好，人家压根没进过门。

这就引出做GEO常被忽略的第一步：AI搜索要引用你，前提是它爬得到你。很多企业花钱做GEO，一上来就堆内容、做结构化，结果爬虫被挡在门外，全白干。

先查机器人协议。AI搜索的爬虫各有各的名字：OpenAI是GPTBot，Anthropic是ClaudeBot，字节是Bytespider，苹果是Applebot-Extended，Perplexity是PerplexityBot。有些站长为了防采集，在robots.txt里把UA一锅端全封了，AI爬虫也跟着进不来。建议只拦明显恶意的，AI爬虫放行，嫌抓得勤再单独限速。

再验证页面能不能被读出来。现在不少企业站首页是纯前端框架渲染的，爬虫抓回来只剩一堆空的div标签。判断方法很土：浏览器开无痕模式，禁用JavaScript再看页面，正文如果全没了，就得考虑服务端渲染或预渲染，否则AI爬虫和部分传统爬虫都读不到你的核心内容。

然后是几项基础检查：sitemap.xml要正常输出，新文章24小时内能出现在里面；内链要能顺着首页点到所有重要页面，别让文章变成孤岛；HTTPS、移动端适配、首屏加载速度，AI搜索同样会参考，跟传统SEO是同一套标准。

自查顺序建议这样走：先curl模拟抓取首页，确认返回200且带正文；再翻robots.txt；然后关掉JS看渲染结果；最后确认sitemap。四个环节全通，再去做内容层面的GEO优化，才不浪费力气。

标签： AI搜索引擎 GEO robots.txt AI爬虫 网站优化