robots.txt配置指南：规则写法与常见误区详解
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b91d11493265.html
📄
当爬虫首次访问你的站点时，它首先要找的便是根目录下的 robots.txt 文件。这份简单的文本协议扮演着访客守则的角色，明确了哪些路径可以抓取，哪些需要避开。合理设置不仅能保护后台和敏感信息不被收录，还能让爬虫集中资源抓取真正重要的页面，从而提升网站的整体SEO表现。
1. 字段详解：理解每条规则的实际含义
robots.txt 文件需放置在网站根目录下，例如 https://yourdomain.com/robots.txt，文件名对大小写敏感，建议以 UTF-8 编码保存。每条指令应独占一行，并尽量避免行尾多余空格。想要正确配置，先要熟悉几个核心字段的使用边界：
- User-agent：指定规则适用的爬虫名称，使用星号 * 表示匹配所有爬虫。
- Disallow：声明不允许访问的路径。若值为 /，则意味着阻止所有爬虫抓取整个站点。
- Allow：允许爬虫访问特定子路径。不过这一指令并非被所有搜索引擎支持，例如 Googlebot 会遵循，而某些爬虫可能直接忽略此规则。
除了上述基础指令，还可以通过 Sitemap 字段指定站点地图的完整 URL。以下是一个常见的配置示例：
User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://yourdomain.com/sitemap.xml
这段配置的含义是：允许爬虫访问站点大部分内容，但 /admin/ 目录被排除，其中 /admin/public/ 作为例外可被访问。这里有一个常见陷阱：如果某个搜索引擎不支持 Allow 指令，它只会识别 Disallow 的限制，那么 /admin/public/ 对它而言仍然是不可访问的。
2. 实用配置模板：按照需求灵活套用
不同网站的需求差异很大，robots.txt 的写法也会随之变化。下面是三种覆盖大多数应用场景的配置方案，你可以直接参考并替换成自己的路径。
2.1 全站开放抓取
对于内容型站点或刚上线的新网站，通常希望所有页面都能被搜索引擎收录。此时只需要一行简单的规则：
User-agent: *
Disallow:
实际上，直接省略 Disallow 行也能达到相同效果。最担心的是不小心将其写成 Disallow: /，一旦发生这种情况，所有爬虫都会被阻挡，网站的收录会立刻停滞。修改完配置后，建议使用各站长平台自带的抓取测试工具验证一次。
2.2 单独屏蔽某个搜索引擎
如果你不希望某个特定的搜索引擎收录网站内容，可以单独为它配置规则：
User-agent: Bingbot
Disallow: /
如此设置后，其他爬虫的抓取行为不会受到任何影响。需要注意的是，爬虫名称必须准确无误，例如 Googlebot、Baiduspider 和 Sogou Web Spider 各不相同，写错名称规则便会失效。建议在各大搜索引擎的官方开发者文档中核对爬虫名称的标准写法。
2.3 仅开放特定目录
部分工具型或会员制站点希望爬虫只能进入指定目录，其他路径均不开放。这种情况可以使用如下配置：
User-agent: *
Disallow: /
Allow: /public/
不过，这种配置同样依赖于爬虫对 Allow 指令的支持程度。对于不支持 Allow 的搜索引擎，此配置等同于完全屏蔽全站，因此务必确认目标搜索引擎是否兼容该协议。
3. 高频陷阱与避坑指南
在实际配置过程中，有几个细节容易被忽略，却可能导致严重的抓取问题。首先，robots.txt 文件不应过大，Google 明确规定文件大小需控制在 500KiB 以内，超过该限制的部分会被直接忽略。其次，不要使用 robots.txt 来隐藏包含敏感信息的页面，它并非安全机制，任何人都可以直接通过 URL 访问被屏蔽的内容，如需真正保护隐私数据，应当配合登录验证等措施。
另外，Disallow 的路径是区分大小写的，并且遵循前缀匹配规则。例如 Disallow: /product 会同时屏蔽 /product 和 /products 开头的所有 URL。同时，通配符 $ 可用于精确匹配结尾，但在部分爬虫中支持有限，谨慎使用更为稳妥。
4. 检查与验证方法
配置完成后，不能仅仅依赖直觉判断是否正确。使用搜索引擎官方的抓取测试工具是最可靠的方法，Google Search Console 和百度搜索资源平台均提供了该功能，可以模拟爬虫抓取指定的 URL，直观查看规则是否得到正确执行。建议在测试前先清除浏览器缓存，避免旧版文件干扰结果。
此外，还可以定期查看服务器日志中的爬虫请求记录，观察是否有异常频繁或完全缺失的抓取行为。若发现某些重要页面长时间未被收录，优先检查 robots.txt 中是否意外屏蔽了相关路径，这一排查步骤通常能快速定位问题。
5. 常见问题
5.1 robots.txt 文件写错了会有补救机会吗
有的。修改 robots.txt 后，搜索引擎会在下次抓取时重新读取文件（通常间隔数天至一周）。如果想要加速更新，可以在站长平台中提交更新或使用 ping 通知工具，促使爬虫尽快重新抓取该文件。
5.2 Disallow 和 Allow 同时存在，优先级怎么判定
对于支持 Allow 指令的搜索引擎（如 Google），会以最精确匹配的路径优先，其次是规则出现顺序更靠后者生效。但该优先级并非所有引擎通用，因此建议在配置时尽量用明确的路径区分，避免依赖模糊的规则顺序。
5.3 robots.txt 需要为每个子域名单独配置吗
需要。robots.txt 仅作用于它所放置的独立域名或子域。例如主站和博客子域的规则是相互独立的，必须分别配置，否则子域无法继承主域的规则设置。
6. 结语
robots.txt 是网站与搜索引擎之间最基础的沟通方式，写对规则能够有效提升爬虫抓取效率，同时避免资源浪费。在实际操作中，建议从全站开放开始逐步添加必要的限制，每修改一次都通过测试工具验证效果，不要一次性加入过多不确定的规则。保持文件简洁、路径明确、定期检查，是避免踩坑的最佳策略。
