robots.txt 完整指南:写法、语法与 SEO 屏蔽规则
📍 WDQWDWQD987AAAAA:216.73.217.1
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6e0c5278e8b5.html
📄
robots.txt 是网站根目录下的纯文本协议文件,用于告知搜索引擎爬虫哪些页面可以抓取、哪些路径应当避开。它虽然不强制生效,但主流爬虫都会遵循,因此是 SEO 基础配置 中不可忽视的一环。
robots.txt 的基本语法
文件由若干条记录组成,每条记录以 User-agent 开头,后接 Allow 与 Disallow 规则。常见写法如下:
- User-agent: * 表示适用于所有爬虫;
- Disallow: /admin/ 表示禁止抓取后台目录;
- Allow: /admin/public/ 用于在屏蔽范围内开放特定路径;
- Sitemap: 声明站点地图地址,便于爬虫发现内容。
常见使用场景
robots.txt 适合屏蔽后台、搜索结果页、重复筛选参数等低价值页面,减少抓取预算浪费。但要注意:被 Disallow 的 URL 仍可能被索引,若希望页面彻底不出现在搜索结果中,应配合 noindex 元标签或 robots 响应头使用。
配置注意事项
- 文件必须放在域名根目录,命名为 robots.txt;
- 规则区分大小写,路径需以斜杠开头;
- 不要用 robots.txt 屏蔽 CSS、JS 等渲染资源,否则会影响搜索引擎理解页面;
- 上线前用搜索引擎官方工具测试,避免误屏蔽整站。
合理编写 robots.txt,既能保护敏感目录,也能提升爬虫抓取效率,是网站技术 SEO 的必备动作。