Le crawler IA : le robot qui lit votre site pour l’IA
Définition
Un crawler IA est le robot qu’un assistant IA envoie lire les sites, comme GPTBot pour ChatGPT, ClaudeBot pour Claude, PerplexityBot pour Perplexity ou Google-Extended pour les IA de Google. C’est lui qui rapporte votre contenu au modèle, avant qu’une réponse ne le cite.
L’image, pour un dirigeant
Voyez un lecteur qui passe dans chaque rayon d’une bibliothèque pour noter ce qu’elle contient, avant de pouvoir en parler à quelqu’un. Chaque assistant IA a son propre lecteur, avec son propre nom. S’il ne peut pas entrer, il ne note rien, et il ne pourra jamais parler de vous.
Ce que ça change dans votre PME
Le fichier robots.txt de votre site autorise ou bloque chaque crawler, ligne par ligne. Un blocage par précaution, ou par défaut d’un thème mal configuré, a une conséquence directe : vous disparaissez des réponses de cette IA, même si le reste de votre site est excellent. Vérifier qui est autorisé est un des premiers réflexes à avoir.
Exemple : une entreprise change d’outil de site, et le nouveau thème bloque tous les robots par défaut, y compris GPTBot et ClaudeBot, sans que personne ne s’en aperçoive. Le site reste bien classé sur Google, mais devient invisible dans ChatGPT et Claude jusqu’à ce que le blocage soit corrigé.
À lire aussi dans le glossaire
Voir en pratique
Un mot clair, c’est un bon début. Un système qui tourne, c’est mieux.
30 minutes, gratuites et sans engagement. Je vous dis où l’IA rapporte chez vous, et où elle ne sert à rien.