RBV

Robots.txt 校验器

校验 robots 指令并识别常见 SEO 配置错误

SEO 与结构化数据
🔒 100% 本地运行 — 你的数据不会离开当前页面
页面模式
robots.txt Input

Quick CTA

先贴 robots.txt,直接看错误和警告;未知指令等严格规则留在 Deep。

Output
校验结果会显示在这里
100% client-side
页面阅读模式

Quick 聚焦摘要、直答与下一步,适合先在首屏快速判断并完成一次结果验证。

工具说明

Robots.txt 校验器用于上线前快速排查抓取规则风险。它会检查核心结构、识别未知指令、提示未在 user-agent 分组内的规则,并校验 sitemap URL 的格式与重复问题,帮助避免因配置细节导致的抓取和收录异常。工具还会给出规范化输出,便于代码审查与版本提交。全部处理在浏览器本地完成,不会上传内容。

高频问题直答

为什么 robots.txt 看起来没问题,校验器还是会告警?

因为“人能看懂”不代表结构一定对,常见问题包括 group 错位、未知指令、重复 sitemap 和协议异常。

robots.txt 里的 Sitemap 行最好用 HTTPS 吗?

是的。如果站点规范地址本来就是 HTTPS,Sitemap 也应保持 HTTPS,避免 SEO 信号混乱。