ドウグバ / Web点検・開発

robots.txt重複ルール点検

同じグループ内に重複するAllow/Disallow等を抽出。入力内容はブラウザ内で処理します。外部サーバーには送信しません。

入力と設定

貼り付けたrobots.txtの構文整理です。検索エンジンの実際のクロール挙動は判定しません。