SEO 基础
robots.txt 是什么意思
简明定义
robots.txt：robots.txt 是给爬虫的「门禁提示」，不能替代登录鉴权，也不是删除已收录页的唯一手段。 英文常写作 Robots Exclusion Protocol。
在站长与 SEO 日常工作中，robots.txt常见于：上线、改目录结构、临时封测试路径时需要配置。
为什么重要
- 弄清robots.txt有助于沟通与排障，避免团队里「同词异义」。
- 把它放到正确场景使用，能减少无效优化与错误配置。
- 与相关指标/技术配合，才能形成可执行的站点优化闭环。
- 补充：上线、改目录结构、临时封测试路径时需要配置。
实践要点
- 语法正确并声明 Sitemap
- 勿误封 CSS/JS 导致渲染失败
- 敏感内容应配合鉴权而非只靠 Disallow
常见误区
- 用 robots 当安全墙
- 封整站却期待收录
常见问题
Disallow 后还会出现在搜索里吗？
已收录 URL 可能仍显示；需配合 noindex 或删除。
刚接触站长，如何快速理解robots.txt？
先记住本页「简明定义」与「实践要点」，再通过相关词条和工具页动手验证，比死记概念更快。
相关工具与教程
需要建站或开发：web.251w.com