生成后放到站点根目录（https://你的域名/robots.txt）才生效。改完建议在各搜索平台的抓取诊断里实测一次。
加一条规则，右侧出内容。
robots.txt 是「君子协定」，靠爬虫自觉遵守，不是访问控制。
| 指令 | 作用 | 示例 | 支持情况 |
|---|---|---|---|
| User-agent | 指定规则适用于哪个爬虫 | User-agent: * | 全部支持 |
| Disallow | 禁止抓取的路径前缀 | Disallow: /admin/ | 全部支持 |
| Allow | 在禁止范围内放行 | Allow: /admin/ajax | 主流支持 |
| Sitemap | 声明站点地图地址 | Sitemap: https://… | 全部支持 |
| Crawl-delay | 抓取间隔（秒） | Crawl-delay: 10 | Bing / Yandex，Google 不支持 |
这些错误一旦上线，可能几周内整站掉收录。
| 错误 | 后果 | 正确做法 |
|---|---|---|
上线时忘了删 Disallow: / | 整站被禁止抓取，收录断崖下跌 | 上线前必查，测试环境才用全站禁止 |
| 用 robots 屏蔽 CSS / JS | 爬虫渲染不出页面，被判为低质 | 放行静态资源目录 |
| 想「隐藏」页面就用 Disallow | URL 仍可能被收录（只抓不索引≠不收录） | 敏感内容用 noindex 或登录鉴权 |
| Sitemap 写了相对路径 | 声明无效，等于没写 | 必须是完整的绝对 URL |
| 规则顺序写反 | 以为放行了其实没放行 | 按最长匹配生效，与先后顺序无关 |
⚠️ 本工具只按标准格式拼接 robots.txt 文本，不保证各搜索引擎的实际执行结果完全一致。
robots.txt 属于君子协定，不能用来保护隐私或敏感内容——被 Disallow 的 URL 仍可能被收录并展示（只是不抓取内容）。真正需要保密的页面请用登录鉴权或 noindex 处理。
修改线上 robots.txt 前请先备份原文件，改完在搜索平台的抓取诊断里实测。
所有内容在你自己的浏览器本地生成，不会上传到任何服务器。
robots.txt 只有几行，但它是整站收录的开关：写错一条 Disallow: /，可能几周后才发现整站掉光；想屏蔽后台却误伤了 CSS/JS，页面渲染不出来也会被判低质。
这个工具就解决这一件事：用表单可视化配规则，实时生成规范的 robots.txt，并自动提示常见错误。
它能做什么：
① 场景预设：内置全部允许、全部禁止、仅屏蔽后台 三套常见配置，点一下就填好，不用从零手写；
② 规则可视化编辑：每条规则由「User-agent + Allow/Disallow + 路径」三部分组成，可任意增删，同属一个 UA 的规则会自动分组输出成标准格式；
③ 附加指令：可加 Crawl-delay（抓取间隔）与一到多个 Sitemap 地址；
④ 错误自检：提示「Disallow: / 会封全站」「Sitemap 必须是绝对 URL」「屏蔽了静态资源目录」这类高频事故；
⑤ 导出：一键复制，或直接下载成 robots.txt 文件，放到站点根目录即可生效。
必须知道的三件事：
· robots.txt 是君子协定，靠爬虫自觉遵守，不是访问控制，恶意爬虫完全可以不理会；
· 被 Disallow 的 URL 依然可能出现在搜索结果里（爬虫不抓内容，但仍可能收录 URL）；真要隐藏请用 noindex 或登录鉴权；
· 规则按「最长匹配」生效，与书写先后顺序无关，所以 Disallow: /admin/ 配 Allow: /admin/ajax 是有效的。
整个流程都在你自己的浏览器里跑，配置内容不会上传到任何服务器。
生成流程：
① 编辑规则：每条规则是「UA + 类型 + 路径」三元组，保存在一个数组里；
② 分组输出：按 User-agent 分组（保持出现顺序），先写 User-agent: 行，再依次输出该组下的 Disallow / Allow 行，组与组之间空一行；
③ 附加指令：Crawl-delay 填了就写在每个 UA 分组内；Sitemap 按行输出在文件末尾；
④ 自检：检查是否存在全站禁止、相对路径 Sitemap、屏蔽静态资源等高频错误，并给出具体提示；
⑤ 导出：复制纯文本，或用 Blob 生成 robots.txt 文件下载。
它不做：不校验线上文件、不检测实际抓取行为、不模拟各搜索引擎的解析差异。改线上文件前请先备份，并在搜索平台实测。
/css/、/js/、/static/、/assets/ 这类目录，会让爬虫抓不到渲染页面所需的资源。https://域名/sitemap.xml 形式，否则搜索引擎会直接忽略这条声明。审核通过后就会展示在留言板上，稍安勿躁～
还没有留言，来抢沙发吧！