robots.txt 產生器

robots.txt 產生器是什麼？

robots.txt 產生器是一款線上工具，協助網站管理員快速產生標準的 robots.txt 檔案。您可以設定 User-agent、Allow 與 Disallow 規則，控制搜尋引擎爬蟲可存取的網站範圍，並附加 Sitemap 網址。

主要功能

• 支援新增多組 User-agent / Allow / Disallow 規則
• 自動產生標準 robots.txt 語法，不需手寫
• 每組規則支援多行 Allow 與 Disallow 路徑
• 可附加 Sitemap 網址
• 一鍵產生、複製結果

使用情境 / 注意事項

適用於部署網站時限制搜尋引擎抓取目錄或私密頁面。輸出為純文字標準格式，請確認路徑正確並以 / 開頭。

如何使用

1. 填寫 User-agent，預設為 *（比對所有爬蟲）
2. 逐行填寫 Allow 與 Disallow 路徑，可選新增 Sitemap
3. 點擊產生檢視 robots.txt 內容並複製