robots.txt 生成器

robots.txt 生成器是什么？

robots.txt 生成器是一款在线工具，帮助网站管理员快速生成标准的 robots.txt 文件。您可以通过配置 User-agent、Allow 和 Disallow 规则，控制搜索引擎爬虫对站点的访问范围，并可附加 Sitemap 地址。

主要功能

• 支持添加多组 User-agent / Allow / Disallow 规则
• 自动生成标准 robots.txt 语法，无需手写
• 每组规则支持多行 Allow 与 Disallow 路径
• 可附加 Sitemap 网址
• 一键生成、复制结果

使用场景 / 注意事项

适用于部署网站时限制搜索引擎抓取目录或私有页面。输出为纯文本标准格式，请确认路径正确并以 / 开头。

如何使用

1. 填写 User-agent，默认为 *（匹配所有爬虫）
2. 逐行填写 Allow 和 Disallow 路径，可选添加 Sitemap
3. 点击生成查看 robots.txt 内容并复制