Vérificateur d'accès des crawlers IA
Entrez un domaine et le vérificateur lit son robots.txt et ses en-têtes pour montrer quels crawlers IA — GPTBot, ClaudeBot, PerplexityBot, Google-Extended et d'autres — sont autorisés, bloqués ou non mentionnés.
Ce qu'il vérifie
- Résout les règles robots.txt pour chaque grand crawler IA
- Signale les crawlers silencieusement autorisés par défaut
- Vérifie la présence d'un llms.txt et le résume
- Donne des règles prêtes à copier pour autoriser ou bloquer chaque bot