Robots.txt 生成
生成搜索引擎抓取规则 robots.txt
SEO 与结构化数据
🔒 100% 本地运行 — 你的数据不会离开当前页面由 Evan 维护•最近更新：2026年9月29日
选项模式
规则
先填 user-agent、allow/disallow 和 sitemap，直接生成 robots.txt；校验策略可在高级模式查看。
robots.txt
robots.txt will appear here
🔒 浏览器内本地处理
页面阅读模式
完整说明还包括常见问题处理、操作示例、代码片段、FAQ 和相关工具，便于核对结果或排查问题。
工具说明
生成一个 user-agent 分组的 robots.txt，每行输入一条 Allow 或 Disallow 路径，可附加 Sitemap 和 Crawl-delay。缺少开头斜杠的路径会被提示，但仍保留在输出中；HTTPS sitemap 选项仅提示 HTTP，不会阻止输出。复核后将文件部署到目标主机的 /robots.txt。工具不测试真实爬虫，也不能保护私密内容。
生产可用片段
抓取规则不是删除收录请求
text
User-agent: *
Disallow: /drafts/
Sitemap: https://example.com/sitemap.xml
爬虫从 /robots.txt 读取路径规则。要读取 /drafts/ 页面中的 noindex，爬虫必须能抓取该页面。推荐工作流
常见问题
Disallow 能让 URL 不被收录或保护私密页面吗？
不能。它只是要求遵守规则的爬虫不抓取路径；被阻止的网址仍可能从外链被发现或收录。私密内容应使用身份认证或访问控制。
noindex 与 robots.txt 应怎样配合？
爬虫需要能抓取页面，才能读取 meta noindex 或 X-Robots-Tag。若同时在 robots.txt 阻止该 URL，爬虫可能无法看到 noindex。
路径与 Sitemap 字段接受什么内容？
每行一个路径，可包含你主动填写的 * 或 $ 模式。工具不执行路径匹配或判断规则优先级。Sitemap 应为绝对 URL；此表单不生成多个 user-agent 分组或多个 Sitemap 字段。
Google 支持 Crawl-delay 吗？
Googlebot 不支持 Crawl-delay，其他爬虫各有实现。开启该字段后，工具把输入的正数向下取整输出；这不会直接改变真实爬虫的请求频率。
继续浏览