ドウグバ / Web点検・開発

robots.txt Hostディレクティブ抽出

Host指定行とその位置をCSVに整理。入力内容はブラウザ内で処理します。外部サーバーには送信しません。

入力と設定

貼り付けたrobots.txtの構文整理です。検索エンジンの実際のクロール挙動は判定しません。