Vérificateur d'accès des crawlers IA
Entrez un domaine et le vérificateur lit son robots.txt et ses en-têtes pour montrer quels crawlers IA — GPTBot, ClaudeBot, PerplexityBot, Google-Extended et d'autres — sont autorisés, bloqués ou non mentionnés.
Ce qu'il vérifie
- Résout les règles robots.txt pour chaque grand crawler IA
- Signale les crawlers silencieusement autorisés par défaut
- Vérifie la présence d'un llms.txt et le résume
- Donne des règles prêtes à copier pour autoriser ou bloquer chaque bot
À propos de cet outil
Les moteurs de réponse — ChatGPT, Perplexity, Claude, les AI Overviews de Google — décident de ce qu'ils citent à partir de ce qu'ils ont le droit de lire. Le vérificateur d'accès des crawlers IA lit le robots.txt et les en-têtes d'un domaine et vous montre, bot par bot, qui est autorisé, bloqué ou simplement non mentionné : GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot et les autres.
Le piège le plus courant n'est pas un blocage volontaire : c'est le silence. Un site qui n'évoque jamais ces agents les autorise par défaut — ce qui est peut-être ce que vous voulez, ou peut-être pas. Le vérificateur transforme cet implicite en explicite, et signale au passage la présence (ou l'absence) d'un llms.txt, le fichier qui aide ces systèmes à comprendre la structure de votre site.
C'est de la visibilité au sens propre : la même discipline d'accès et de moindre exposition que pour la sécurité, appliquée à ce que les machines lisent de vous. Vous repartez avec des règles prêtes à copier pour autoriser ou bloquer chaque bot en connaissance de cause.
Exemples
- Domaine : exemple.com (robots.txt sans mention de GPTBot)
- GPTBot : autorisé par défaut (aucune règle). Si vous vouliez l'autoriser, rien à faire ; sinon, ajoutez un bloc explicite. Règle prête à copier fournie pour chaque cas.
- Domaine : exemple.com (avec /llms.txt)
- llms.txt détecté et résumé : titre, sections, liens clés. C'est ce que les moteurs de réponse lisent pour situer votre site — utile pour vérifier qu'il est à jour et cohérent avec vos pages.
Un llms.txt n'augmente pas l'accès ; il aide à comprendre ce que les bots lisent déjà.