Menu
Blog Web & Mobile

Robots IA : vérifier l’accès de ChatGPT, Claude et Gemini à votre site

Un site peut être parfaitement consultable par vos clients et pourtant difficile à récupérer par certains robots utilisés par les assistants IA. Une directive robots.txt, un CDN, un pare-feu, un défi anti-bot ou un contenu chargé uniquement en JavaScript peuvent produire des résultats différents selon les plateformes.

Pour une PME ou une ETI, la question n’est pas seulement « faut-il autoriser ChatGPT ? ». Il faut distinguer les robots de recherche, d’entraînement et de visite à la demande, puis vérifier les pages réellement stratégiques. Voici une méthode d’audit concrète, une matrice des robots documentés, un exemple de fichier robots.txt, des diagnostics d’erreurs et une grille de validation, sans promesse de citation.

Indexation robots IA GEO
Indexation de vos pages par les “robots IA” – GEO

Que signifie « accessible aux robots IA » ?

Un site accessible aux robots des IA est un site dont certaines URL publiques peuvent être récupérées par les agents techniques utilisés pour rechercher des sources, préparer des réponses ou, pour d’autres robots, collecter des données d’entraînement. Cette accessibilité n’est ni binaire ni uniforme : un robot peut lire une page alors qu’un autre la rencontre bloquée par une règle différente.

Trois conditions doivent être distinguées : le robot est autorisé à demander l’URL ; le serveur lui livre effectivement une réponse pertinente ; le contenu essentiel est présent dans les données qu’il peut exploiter. Une page peut satisfaire la première condition et échouer aux deux autres.

À retenir

Être accessible ne garantit ni indexation, ni mention, ni citation dans ChatGPT, Claude, Gemini, Google AI Overviews ou Copilot. L’accès est une condition technique possible, pas un levier magique de recommandation.

La stratégie d’ensemble, notamment la crédibilité des sources et les contenus différenciants, est abordée dans notre article sur le GEO et la visibilité dans les réponses IA. Ici, nous nous concentrons volontairement sur la chaîne technique d’accès et ses tests.

↑ Retour au sommaire

Robots d’entraînement, de recherche et robots utilisateur : pourquoi les séparer ?

Les plateformes ne visitent pas toutes les pages pour le même motif. Certaines explorent le Web afin de constituer des données d’entraînement. D’autres recherchent ou mettent à jour des informations pour des fonctionnalités de recherche. D’autres encore ouvrent une page à la demande d’une personne. Ces usages peuvent correspondre à des agents différents et à des politiques de contrôle distinctes.

Opérateur / robotUsage déclaréConséquence pratique
OpenAI : OAI-SearchBotExploration pour les fonctionnalités de recherche dans ChatGPT.Vérifier robots.txt et les accès réseau si la visibilité dans la recherche ChatGPT est souhaitée.
OpenAI : GPTBotCollecte susceptible de contribuer à l’entraînement de modèles.Une politique d’opposition à l’entraînement peut différer du choix concernant la recherche.
OpenAI : ChatGPT-UserVisites ponctuelles déclenchées par des utilisateurs ou des actions.Ce n’est pas un robot d’indexation automatique ; les règles robots.txt peuvent ne pas s’appliquer de la même manière.
Anthropic : Claude-SearchBotExploration pour les fonctionnalités de recherche de Claude.Distinguer les règles de ce robot de celles du robot d’entraînement.
Anthropic : ClaudeBotCollecte pouvant servir à améliorer et entraîner des modèles.Choisir explicitement la politique d’accès liée à l’entraînement.
Anthropic : Claude-UserRécupération de pages demandée par un utilisateur Claude.Tester les parcours publics ; Anthropic documente aussi le contrôle de cet agent.
Google : GooglebotExploration pour Google Search et ses fonctionnalités, dont les liens des réponses IA.Maintenir l’exploration et l’indexation habituelles pour être éligible dans Google Search.
Google : Google-ExtendedJeton robots.txt de contrôle d’usages liés à Gemini, sans user-agent HTTP distinct.Ne pas le confondre avec Googlebot ni avec un robot dédié aux AI Overviews.
Microsoft : bingbotExploration pour Bing, susceptible d’alimenter son écosystème de recherche.Préserver les fondamentaux d’indexation Bing ; contrôler séparément les citations via les outils disponibles.

Cette classification repose sur les documentations publiées par OpenAI, Anthropic et Google. Elle doit être vérifiée à chaque audit : les noms, plages IP, fonctionnalités et politiques peuvent évoluer.

Un point mérite une attention particulière : chez Google, Google-Extended n’est pas un agent HTTP qui apparaîtrait comme tel dans les journaux. Son contrôle est défini par robots.txt et concerne certains usages de contenus dans des produits Gemini ; Google indique qu’il n’affecte pas l’inclusion dans Google Search. Dans le cas d’OpenAI, permettre OAI-SearchBot tout en refusant GPTBot correspond à deux choix distincts. Ne recopiez donc pas une règle « bloquer toutes les IA » sans décider quels usages vous souhaitez réellement autoriser.

↑ Retour au sommaire

Pourquoi votre site peut-il bloquer un assistant malgré un robots.txt ouvert ?

Le fichier robots.txt est souvent le premier contrôle, mais il ne couvre qu’une partie de la chaîne. Un CDN, un pare-feu applicatif (WAF), une protection anti-bot, un proxy ou un hébergeur peuvent refuser l’accès avant même qu’une page WordPress soit exécutée. Certains dispositifs répondent par un code 403 ou 429 ; d’autres affichent une page de vérification avec un HTTP 200, qui n’est pas le contenu demandé.

Le cas est d’autant plus difficile à repérer que la navigation humaine peut sembler normale : le navigateur exécute JavaScript, conserve des cookies et réussit un défi anti-bot, alors qu’une récupération automatisée reste bloquée.

C’est l’un des enseignements pratiques du livre blanc « GEO : ce que 2026 nous a appris » d’Abondance (octobre 2026, p. 15) : des tests relèvent des différences de récupération de pages et des blocages au niveau des protections réseau. Le rapport cite notamment une étude portant sur GPTBot, robot associé à l’entraînement, et non une preuve directe qu’un site serait absent de toutes les réponses ChatGPT.

Notre dossier sur les CDN, leur fonctionnement et leurs risques SEO explique les différentes couches concernées. Celui sur la sécurité WordPress complète l’analyse côté protection et exploitation.

↑ Retour au sommaire

Audit en sept étapes : vérifier l’accessibilité technique d’un site aux IA

Identifier les pages et robots à tester

Choisissez trois à cinq URL publiques réellement stratégiques : une page de service, une référence client, un article expert et éventuellement une fiche produit ou une FAQ. Définissez les plateformes concernées et leur finalité : recherche, collecte d’entraînement ou navigation demandée par un utilisateur. Évitez de vérifier uniquement la page d’accueil, souvent moins protégée que les autres gabarits.

Tester l’accès HTTP aux vraies pages

Pour chaque URL, contrôlez l’adresse finale, le code HTTP, la chaîne de redirection, l’authentification éventuelle, le type de réponse et le HTML réellement renvoyé. Une réponse 200 ne suffit pas si elle affiche une page « vérifiez que vous êtes humain » ; une redirection vers une connexion ou une erreur 503 peut rendre l’information inutilisable.

Contrôler robots.txt pour chaque domaine et sous-domaine

Ouvrez https://exemple.fr/robots.txt, puis les versions pertinentes si des sous-domaines servent le contenu. Identifiez les règles propres à chaque jeton user-agent, les groupes génériques, les chemins exclus et d’éventuelles directives ajoutées par le CDN. Un fichier accessible et bien syntaxé ne prouve pas que le serveur autorise ensuite le robot.

Lire les journaux et les décisions du pare-feu

Examinez, sur une période déterminée, le chemin demandé, la date, le user-agent, l’adresse source, le statut HTTP et l’action appliquée par le CDN ou WAF. Les codes 403, 429 et 5xx ainsi que les défis anti-bots récurrents constituent des signaux d’alerte. Vérifiez l’authenticité des robots importants avec les plages IP officielles ou les contrôles recommandés par l’opérateur : un nom user-agent peut être usurpé.

Vérifier le HTML livré sans interaction

Examinez le code source de la réponse initiale et recherchez le titre, la proposition de valeur, les informations de service, les liens internes et les données factuelles. Si tout apparaît seulement après exécution JavaScript, un système qui récupère le HTML sans rendre l’interface peut manquer ces éléments. Un pré-rendu ou un rendu serveur peut améliorer l’accessibilité, mais doit conserver le même contenu utile pour humains et robots.

Faire une recette contrôlée des règles d’accès

Si un blocage est confirmé, corrigez la règle exacte : groupe robots.txt, règle WAF, politique anti-bot, géoblocage, contrôle d’adresse IP ou configuration de cache. Testez de nouveau sans désactiver globalement la sécurité. Une simple requête curl dotée d’un user-agent de robot sert à reproduire une réponse ; elle ne permet pas d’affirmer que la requête provient réellement du robot officiel.

Documenter le résultat et surveiller

Conservez une preuve datée : URL, agent ciblé, réponse, blocage identifié, correction, deuxième résultat et responsable du suivi. Comparez les journaux après modification. Pour Google Search, utilisez aussi l’inspection d’URL ; pour Microsoft, les rapports de Bing Webmaster Tools peuvent fournir des données de citations IA, sans prouver à eux seuls le comportement des autres plateformes.

↑ Retour au sommaire

Matrice de diagnostic : que signifie chaque erreur ?

ConstatCause à vérifierAction prioritaire
robots.txt refuse le robot cibléRègle explicite, groupe générique ou politique gérée par CDN.Valider l’intention et corriger uniquement l’agent concerné.
robots.txt autorise, mais HTTP 403WAF, liste IP, règle anti-bot, géoblocage, authentification.Consulter les événements sécurité et identifier la règle responsable.
HTTP 429 récurrentsLimitation de fréquence trop stricte ou quota partagé.Analyser volume, seuils et comportement avant tout ajustement.
HTTP 200 mais page de challengeDéfi anti-bot livré comme HTML normal.Examiner la réponse effective hors navigateur humain.
HTML vide ou peu informatifContenus rendus seulement après JavaScript ou via API.Vérifier l’HTML initial et, si justifié, proposer SSR/prérendu.
URLs publiques en noindexDirective indexation intentionnelle ou erreur de paramétrage.Réexaminer l’éligibilité Google/Bing sans confondre les politiques des IA.
Aucune visite repérée dans les logsAbsence d’intérêt, collecte échantillonnée, logs incomplets ou accès par tiers.Ne pas conclure à un blocage sans preuve ; contrôler période et points de collecte.
Le robot explore, mais aucune citation observéeAccessibilité non suffisante ; sélection de sources et pertinence inconnues.Travailler la qualité des preuves, la pertinence et le suivi des citations.

↑ Retour au sommaire

Exemple de robots.txt : permettre la recherche sans ouvrir l’entraînement

Le fichier ci-dessous présente une politique possible pour un site qui souhaite être accessible aux robots de recherche d’OpenAI et d’Anthropic tout en signalant un refus pour leurs robots d’entraînement. Ce n’est pas un réglage universel, et il ne traite ni toutes les plateformes ni le fonctionnement du CDN.

Exemple pédagogique — à adapter et valider

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

Ces quatre groupes ne constituent pas un robots.txt complet. Ils ne règlent ni ChatGPT-User, ni Claude-User, ni Googlebot, ni Google-Extended, ni les autres robots. Ils ne modifient pas les autorisations définies dans le WAF.

L’effet réel dépend notamment des politiques officielles des opérateurs, du respect des directives et de l’absence d’autres règles bloquantes. Le contrôle de ChatGPT-User ne doit pas être traité comme celui d’OAI-SearchBot : OpenAI précise que certaines requêtes initiées par un utilisateur peuvent ne pas relever des mêmes règles robots.txt. Anthropic, de son côté, indique respecter les directives de ses robots.

Autre point essentiel : robots.txt ne protège pas une information confidentielle. Si une page ne doit pas être accessible au public, utilisez une authentification et des contrôles d’accès adaptés ; cacher son adresse, ajouter une directive ou compter sur noindex ne constitue pas une protection des données.

↑ Retour au sommaire

JavaScript, SSR et contenus réellement lisibles par les IA

Un site Nuxt, React, Vue ou WordPress fortement enrichi par JavaScript peut afficher de superbes pages pour les internautes, sans pour autant livrer toutes ses informations dès la réponse HTML initiale. Le problème ne tient pas à l’usage de JavaScript en soi : il apparaît lorsque des contenus essentiels dépendent entièrement de l’exécution de scripts ou d’appels API réalisés après chargement.

Pour réaliser un contrôle pertinent, comparez la source HTML brute et le DOM une fois la page chargée dans un navigateur. Repérez les informations absentes de la source initiale : description de l’activité, prix ou caractéristiques publics, liste de produits, avis utiles, liens vers les preuves, contenus des onglets non visibles ou menus chargés tardivement.

Le livre blanc Abondance rapporte des tests de janvier 2026 selon lesquels certains robots de récupération de pages liés à ChatGPT, Claude et Gemini ne rendaient pas JavaScript. Ce constat décrit les conditions d’une étude, pas une règle éternelle applicable à toutes les technologies ni à Googlebot : Google Search dispose par ailleurs de capacités de rendu documentées.

Une règle robuste consiste donc à rendre le contenu essentiel disponible dans l’HTML servi, tout en réservant JavaScript aux interactions qui en ont réellement besoin. Notre article sur le mobile-first indexing rappelle que le contenu accessible et cohérent reste déterminant pour la recherche Google.

↑ Retour au sommaire

Exemple de diagnostic pour une PME industrielle

Exemple fictif, sans résultat chiffré attribué à un client ImagesCréations : une PME industrielle propose des pièces techniques et publie une documentation de compatibilité sur son site. Sa direction marketing souhaite comprendre pourquoi certaines pages expertes sont rarement mentionnées dans les outils de recherche IA.

ObservationVérificationDécision
Le fichier robots.txt contient une règle générique restrictive.Lire les groupes propres aux moteurs utiles et la politique de l’entreprise.Définir séparément les usages autorisés et refusés.
Une page de documentation renvoie parfois un défi anti-bot.Croiser événements WAF, statut HTTP et visite sur l’URL précise.Créer une exception vérifiée et ciblée, sans ouvrir les données privées.
Les caractéristiques importantes sont injectées en JavaScript.Comparer HTML initial et DOM de la page après chargement.Étudier SSR ou prérendu de la documentation publique.
La documentation reste peu citée malgré un accès technique corrigé.Examiner qualité des preuves, clarté des compatibilités et sources.Améliorer la page, mesurer dans le temps, ne pas promettre de citation.

La conclusion n’est pas « les IA bloquaient tout ». Plusieurs causes et hypothèses peuvent coexister. Le rapport de recette devrait indiquer quelles erreurs ont été réellement observées, quelles corrections ont été appliquées et ce qui demeure incertain. Ce modèle de compte rendu peut être reproduit par le prestataire technique d’une PME.

La démarche complète de visibilité relève ensuite du GEO et de la qualité du contenu, tandis que le site lui-même doit rester cohérent avec les fondamentaux du référencement naturel.

↑ Retour au sommaire

Comment mesurer le résultat sans promettre des citations ?

La mesure doit respecter une chaîne logique. Une requête autorisée et un HTTP 200 renseignent sur la capacité d’accès. Une page indexée dans Google ou Bing informe sur une autre étape. Une citation dans une réponse générée est un signal distinct, qui dépend du contexte, de la requête et des mécanismes de sélection des sources.

NiveauIndicateur observéLimite
TechniqueStatuts HTTP, actions WAF, logs et contenu HTML servi.Ne prouve pas qu’une page sera retenue comme source.
Recherche classiqueInspection d’URL, indexation, impressions, clics Google ou Bing.Ne décrit pas toutes les réponses d’assistants IA.
Citations IAPages citées, fréquence, requêtes de référence si un rapport les expose.Dépend de la couverture de chaque outil et varie dans le temps.
Trafic issu des assistantsSessions, pages d’entrée et conversions dans les données analytiques.N’inclut pas les consultations sans clic ni toutes les mentions.
Résultat commercialDemandes qualifiées, commandes ou opportunités pouvant être reliées au parcours.Attribution parfois partielle ou déclarative.

Pour les environnements Microsoft compatibles, Bing Webmaster Tools — AI Performance présente des pages citées et des requêtes de référence agrégées. Pour le trafic observable vers le site, notre guide sur GA4 et le suivi des assistants IA explique une lecture complémentaire ; la méthode de reporting est détaillée dans nos KPI SEO et GEO.

Dans les suivis manuels de réponses IA, répétez les observations sur plusieurs jours et formulations au lieu de traiter une capture isolée comme un classement. Le livre blanc Abondance souligne la forte variabilité des sources d’un jour à l’autre et les limites des indicateurs propriétaires. Une absence de citation après un correctif technique ne suffit donc pas à invalider ce correctif.

↑ Retour au sommaire

Quelles corrections prioriser pour une PME ou une ETI ?

La priorité dépend du coût du défaut et des risques. Une erreur HTTP sur une page commerciale majeure est généralement plus urgente qu’une hypothèse de visibilité IA. Un blocage involontaire par le WAF peut être traité assez rapidement après investigation ; une refonte du rendu front-end doit être évaluée selon les contenus concernés et le calendrier des évolutions.

Nous recommandons un ordre de travail simple : sécuriser les pages importantes pour Google et Bing ; vérifier les décisions robots.txt liées aux moteurs IA ; résoudre les erreurs d’accès confirmées ; contrôler le HTML essentiel ; mesurer l’évolution sans prétendre influer directement sur l’algorithme de citation.

Ne désactivez jamais une protection anti-DDoS, la limitation des requêtes ou un contrôle de sécurité pour améliorer une métrique GEO. L’enjeu consiste à distinguer les robots légitimes et les demandes indésirables, à vérifier leur provenance et à prévoir une règle proportionnée, testable et réversible.

↑ Retour au sommaire

Comment ImagesCréations aborde l’audit d’accessibilité des robots IA

Chez ImagesCréations, agence digitale nantaise créée en 1995, nous abordons ces diagnostics à l’intersection du développement web, de l’hébergement, de la sécurité et du SEO. L’enjeu n’est pas d’installer une extension présentée comme « compatible IA », mais de vérifier ce que l’infrastructure sert réellement aux différents usages.

Selon les possibilités d’accès au projet, l’intervention peut comprendre l’inventaire des pages publiques critiques, l’analyse du HTML initial, l’examen des règles robots.txt, la lecture des événements CDN/WAF et des journaux, des tests de parcours, la documentation des corrections et une mesure avant/après.

Sur un site WordPress, un e-commerce ou une application sur mesure, la méthode sera adaptée aux contraintes de l’hébergement et au niveau d’accès disponible. L’objectif est de produire un diagnostic vérifiable, avec des priorités et des responsabilités identifiées, sans promettre que ChatGPT, Claude ou Gemini citera ensuite la marque.

↑ Retour au sommaire

Votre site est-il accessible aux moteurs IA sans affaiblir sa sécurité ?

Nous pouvons vérifier les règles d’exploration, les réponses du serveur, les protections CDN/WAF et le rendu des contenus importants, puis prioriser les corrections utiles.

Parler de l’audit de votre site avec ImagesCréations

Questions fréquentes sur les robots IA

Faut-il autoriser GPTBot pour apparaître dans ChatGPT ?

Pas nécessairement. OpenAI distingue GPTBot, destiné à des usages d’entraînement, et OAI-SearchBot, destiné aux fonctionnalités de recherche. Les décisions d’accès sont indépendantes.

ChatGPT-User et OAI-SearchBot jouent-ils le même rôle ?

Non. ChatGPT-User est lié à certaines actions déclenchées par un utilisateur et n’est pas un robot d’exploration de recherche automatique. OpenAI précise que les règles robots.txt peuvent ne pas s’appliquer à certaines visites initiées par un utilisateur.

Bloquer Google-Extended fait-il disparaître un site de Google ?

Non, Google précise que Google-Extended n’influe pas sur l’inclusion dans Google Search ni sur le classement. Ses usages concernent des contrôles distincts liés à Gemini ; il ne remplace pas Googlebot.

Un HTTP 200 garantit-il qu’un robot peut lire la page ?

Non. Une page de vérification ou de connexion peut être servie avec HTTP 200. Il faut inspecter la réponse HTML effectivement renvoyée, pas uniquement le code.

Un site entièrement en JavaScript est-il invisible pour les IA ?

On ne peut pas le déduire de la seule présence de JavaScript. Les capacités de rendu varient entre moteurs et dans le temps. Le test important consiste à contrôler la présence des informations essentielles dans le HTML initial.

Comment vérifier qu’une requête vient du vrai robot ?

Le nom user-agent ne suffit pas : il est falsifiable. Il faut utiliser les méthodes officielles de vérification par adresses IP ou DNS lorsque disponibles, et croiser avec les événements du réseau de sécurité.

Faut-il créer un fichier llms.txt pour débloquer les robots ?

Aucune preuve générale ne montre qu’un fichier llms.txt débloque l’accès ou garantit une citation. Il ne remplace pas robots.txt, la disponibilité HTTP, la qualité du HTML et les règles WAF.

Doit-on laisser tous les robots IA explorer le site ?

Non. C’est un choix éditorial, juridique et technique selon les finalités des agents. Les contenus confidentiels doivent rester protégés par contrôle d’accès, indépendamment des règles robots.txt.

Sources officielles et méthodologie

Méthode : distinction entre faits documentés par les opérateurs, observations publiées par des tiers et recommandations de diagnostic proposées par ImagesCréations. Les exemples d’entreprise et de configuration sont illustratifs.

Dernière révision le 15 octobre 2026 par Olivier Robé, ImagesCréations.