ドウグバ / Web点検・開発

robots.txt未認識ディレクティブ抽出

一般的なrobots.txt指定以外の行を一覧にする。入力内容はブラウザ内で処理します。外部サーバーには送信しません。

入力と設定

貼り付けたrobots.txtの構文整理です。検索エンジンの実際のクロール挙動は判定しません。