为什么 robots.txt 看起来没问题,校验器还是会告警?
因为“人能看懂”不代表结构一定对,常见问题包括 group 错位、未知指令、重复 sitemap 和协议异常。
Quick CTA
先贴 robots.txt,直接看错误和警告;未知指令等严格规则留在 Deep。
下一步(Workflow)
Quick 聚焦摘要、直答与下一步,适合先在首屏快速判断并完成一次结果验证。
Robots.txt 校验器用于上线前快速排查抓取规则风险。它会检查核心结构、识别未知指令、提示未在 user-agent 分组内的规则,并校验 sitemap URL 的格式与重复问题,帮助避免因配置细节导致的抓取和收录异常。工具还会给出规范化输出,便于代码审查与版本提交。全部处理在浏览器本地完成,不会上传内容。
因为“人能看懂”不代表结构一定对,常见问题包括 group 错位、未知指令、重复 sitemap 和协议异常。
是的。如果站点规范地址本来就是 HTTPS,Sitemap 也应保持 HTTPS,避免 SEO 信号混乱。