robots.txt 完整指南:写法、语法与 SEO 屏蔽规则

📍 WDQWDWQD987AAAAA:216.73.217.1
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6e0c5278e8b5.html
📄

robots.txt 是网站根目录下的纯文本协议文件,用于告知搜索引擎爬虫哪些页面可以抓取、哪些路径应当避开。它虽然不强制生效,但主流爬虫都会遵循,因此是 SEO 基础配置 中不可忽视的一环。

robots.txt 的基本语法

文件由若干条记录组成,每条记录以 User-agent 开头,后接 Allow 与 Disallow 规则。常见写法如下:

常见使用场景

robots.txt 适合屏蔽后台、搜索结果页、重复筛选参数等低价值页面,减少抓取预算浪费。但要注意:被 Disallow 的 URL 仍可能被索引,若希望页面彻底不出现在搜索结果中,应配合 noindex 元标签或 robots 响应头使用。

配置注意事项

  1. 文件必须放在域名根目录,命名为 robots.txt;
  2. 规则区分大小写,路径需以斜杠开头;
  3. 不要用 robots.txt 屏蔽 CSS、JS 等渲染资源,否则会影响搜索引擎理解页面;
  4. 上线前用搜索引擎官方工具测试,避免误屏蔽整站。

合理编写 robots.txt,既能保护敏感目录,也能提升爬虫抓取效率,是网站技术 SEO 的必备动作。

图1 图2

nginx