robots.txt Generator

robots.txt 生成ツールとは？

robots.txt 生成ツールは、標準的な robots.txt ファイルを手軽に作成できるオンラインツールです。User-agent や Allow、Disallow のルールを設定して検索エンジンのクローラーがアクセスできる範囲を制御でき、Sitemap の URL も追加できます。

主な機能

• User-agent / Allow / Disallow のルールを複数グループ追加可能
• 標準的な robots.txt の構文を自動生成（手書き不要）
• 1 ルールにつき複数行の Allow / Disallow パスに対応
• Sitemap の URL を追加可能
• 結果をワンクリックで生成・コピー

使用シーン / 注意事項

サイト公開時にクローラーのインデックスをディレクトリや非公開ページから制限したい場合に便利です。出力は robots.txt の標準テキスト形式に従います。パスは / で始まる正しい形で指定してください。

使い方

1. User-agent を入力（デフォルトは * で全クローラーに一致）
2. Allow / Disallow のパスを 1 行ずつ入力し、必要なら Sitemap を追加
3. 生成をクリックして内容を確認し、コピーする