ドウグバ
/
Web点検・開発
robots.txtのCrawl-delay一覧
User-agent単位のCrawl-delay指定を抽出。入力内容はブラウザ内で処理します。外部サーバーには送信しません。
入力と設定
変換・点検するデータ
User-agent: * Disallow: /private/ Allow: /private/public/ Crawl-delay: 5 Sitemap: https://example.org/sitemap.xml Host: example.org User-agent: TestBot Disallow: /draft/ Disallow: /draft/ Foo-Directive: bar
貼り付けたrobots.txtの構文整理です。検索エンジンの実際のクロール挙動は判定しません。
処理を実行
入力をクリア
処理結果
出力内容（コピーもできます）
結果をダウンロード