Robots.txt生成器 | 在线Robots文件制作
【工具酷】Robots.txt生成器可根据网站需求快速生成规范的Robots.txt文件，精准控制搜索引擎爬虫访问权限，避免无效抓取，提升网站SEO效果与爬虫管理效率，免费在线使用。
robots.txt 配置
站点配置
请输入完整的网站URL（包含https://）
可选的sitemap.xml文件地址
搜索引擎设置
通用规则
允许所有搜索引擎爬虫访问网站所有内容
禁止所有搜索引擎爬虫访问网站（仅用于测试环境）
手动设置详细的访问规则
自定义规则
暂无自定义规则
点击上方"添加规则"按钮开始配置常用路径模板
高级设置
robots.txt 预览
# robots.txt 生成工具
# 生成时间:
# 网站:
User-agent: *
Allow: /
文件已准备就绪
点击上方按钮复制或下载
使用说明
将文件上传到网站根目录 (https://yourdomain.com/robots.txt)
robots.txt 参考信息
重要注意事项
- robots.txt 是建议性而非强制性
- 敏感信息不应仅依赖 robots.txt 保护
- 始终在 robots.txt 中允许 CSS 和 JS 文件
- 定期检查和更新 robots.txt 文件
常用指令
User-agent:
指定搜索引擎爬虫
Allow:
允许访问的路径
Disallow:
禁止访问的路径
Sitemap:
指定站点地图位置
Crawl-delay:
爬行延迟时间
Clean-param:
忽略URL参数
搜索引擎User-agent
Google
Googlebot
Bing
Bingbot
百度
Baiduspider
Yahoo
Slurp
Yandex
YandexBot
所有爬虫
*