AI Crawler Checker

概要

• ドメインを入力するだけでrobots.txtを取得し、GPTBotやClaudeBotなど15種類のAIクローラーごとのアクセス可否を一覧表示します。
• 判定はRFC 9309に準拠し、最長一致ルールや同順位時のAllow優先、空のDisallowの扱いまで正確に反映します。

主な機能

• アクセスが許可されたままのクローラーをまとめてブロックするrobots.txt用スニペットを自動生成できます。
• llmstxt.orgの提案に基づくllms.txtの検証・生成に対応し、H1未設定はエラー、それ以外は警告として知らせます。
• ルールベースで動作するためLLM利用料やアカウント登録は不要で、APIからJSONを取得してスクリプトにも組み込めます。

こんな人におすすめ

• 自社サイトのコンテンツが各種AIクローラーに許可されているか、robots.txtを手作業で読み解かず確認したいWebサイト運営者。
• 生成AIによるクロール方針を整理し、特定のAIクローラーだけを効率的にブロックしたい開発者や技術担当者。
• llms.txtの導入を検討しており、仕様に沿った記述の不足や問題を手軽にチェックしたいサイト管理者。