Fichier robots.txt : à quoi il sert et les erreurs qui cachent votre site

Le robots.txt est un petit fichier texte, posé à la racine de votre site, qui dit aux robots des moteurs de recherche quelles parties ils peuvent visiter et lesquelles ils doivent laisser de côté. Il tient en quelques lignes, et pourtant il reste une des causes les plus fréquentes de « mon site n’apparaît plus sur Google » : une ligne mal placée, souvent oubliée après une refonte, et vos pages sortent des résultats sans aucun message d’erreur. Voici ce que fait ce fichier, ce qu’il ne fait pas, et la façon de vérifier le vôtre.

Robots.txt, c’est quoi exactement ?

C’est un fichier texte brut nommé robots.txt, en minuscules, placé à la racine du site (par exemple https://www.example.com/robots.txt). Chaque robot qui respecte les règles le lit avant de parcourir vos pages. Il contient des groupes de consignes : à qui elles s’adressent (User-agent), ce qui est interdit (Disallow), ce qui est autorisé (Allow), et l’adresse de votre plan de site (Sitemap).

Un fichier typique pour une petite entreprise ressemble à ceci :

User-agent: *
Disallow: /admin/
Disallow: /panier/
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Lecture : tous les robots (*) peuvent tout visiter, sauf l’espace d’administration et le panier, et le plan du site se trouve à l’adresse indiquée. Si vous n’avez rien à cacher aux robots, un fichier qui ne contient que la ligne Sitemap est valable. Si vous n’avez pas de plan de site, notre guide explique ce qu’est un sitemap XML et comment le créer.

Quelques règles, telles que Google les documente dans Search Central :

• Le fichier ne vaut que pour l’hôte et le protocole où il se trouve. Celui de www.example.com ne couvre pas blog.example.com.
• Les chemins respectent la casse : Disallow: /Blog/ ne bloque pas /blog/.
• Google ne lit que quatre champs : user-agent, allow, disallow et sitemap. Le champ crawl-delay, encore présent dans beaucoup de fichiers, est ignoré.
• Google limite le fichier à 500 kibioctets, la limite minimale fixée par la norme RFC 9309 de septembre 2022, et le garde en mémoire jusqu’à 24 heures.

Ce que le robots.txt ne fait pas : cacher une page

Le robots.txt empêche un robot de lire une page, il ne l’empêche pas de la référencer. Google l’écrit noir sur blanc : « ce n’est pas un mécanisme pour garder une page web hors de Google ». Une page interdite dans le robots.txt peut être indexée si un autre site pointe vers elle : Google connaît l’adresse et l’affiche dans ses résultats sans description. C’est le cas que la Search Console signale sous le nom « Indexée malgré le blocage par le fichier robots.txt ».

Pour retirer une page des résultats, il faut lui poser une balise noindex dans son code (<meta name="robots" content="noindex">) ou l’en-tête HTTP X-Robots-Tag: noindex pour un PDF. Et le point qui piège tout le monde : la page ne doit pas être bloquée dans le robots.txt, sinon Google ne vient jamais la lire et ne découvre jamais la consigne. Les deux outils ne se cumulent pas, ils se contredisent.

Pour une page vraiment privée (un espace client, des documents internes), la seule protection sérieuse est un mot de passe. Le robots.txt est lui-même public, et y lister des dossiers « secrets » revient à les afficher. Enfin, écrire Noindex: dans le robots.txt ne sert plus à rien : Google a annoncé en juillet 2019 qu’il cesserait de tenir compte de cette règle le 1er septembre 2019.

Les erreurs qui cachent un site

L’erreur la plus grave est un Disallow: / pour tous les robots sur le site en ligne. En deux caractères, tout le site est interdit d’exploration, et les pages que Google connaissait s’effacent peu à peu des résultats. Nous rencontrons ce cas après une refonte : la version de test était bloquée, et son fichier a été copié tel quel sur le vrai site le jour de la mise en ligne. Si vous préparez une refonte, ajoutez cette vérification à votre liste, à côté des redirections 301 à prévoir pour ne pas perdre son trafic.

Les autres erreurs sont plus discrètes :

• Bloquer les fichiers CSS et JavaScript. Google affiche vos pages comme un navigateur pour comprendre leur contenu, et sa documentation précise qu’il n’exécute pas le JavaScript des fichiers bloqués. Un Disallow: /wp-content/ hérité d’un vieux tutoriel peut faire passer un site moderne pour une page vide, sans images.
• Une erreur serveur sur le fichier. Si robots.txt renvoie une erreur 5xx, Google arrête d’explorer le site pendant 12 heures, puis réutilise une ancienne copie pendant 30 jours. Un fichier absent (erreur 404) n’est pas un problème : Google fait comme si tout était autorisé.
• Une faute de casse ou de chemin. /Blog/ au lieu de /blog/, ou une règle écrite pour une structure d’adresses qui n’existe plus depuis la refonte.

Robots.txt et les robots des assistants IA

Le robots.txt sert aussi à choisir ce que les robots des entreprises d’IA peuvent lire chez vous, et chaque robot a un rôle différent. OpenAI documente trois agents : GPTBot, qui collecte des contenus pour entraîner ses modèles, OAI-SearchBot, qui fait apparaître des sites dans les résultats de recherche de ChatGPT, et ChatGPT-User, qui visite une page à la demande d’un utilisateur. Côté Google, le jeton Google-Extended contrôle l’usage de vos contenus pour entraîner Gemini. Google précise que ce réglage n’a aucun effet sur la présence du site dans la recherche Google et n’est pas un signal de classement.

Un média qui vit de son contenu peut refuser l’entraînement (User-agent: GPTBot puis Disallow: /) tout en laissant passer OAI-SearchBot.

Notre avis

Pour une PME qui cherche des clients, bloquer les robots de recherche des IA est un mauvais calcul : vous refusez d’être cité à l’endroit où une partie de vos prospects posent désormais leurs questions. Pour un restaurant, un artisan ou un cabinet, nous conseillons de laisser passer les robots et de travailler plutôt la clarté des pages. Notre guide sur la façon d’être cité par ChatGPT et les autres IA détaille ce qui compte vraiment.

Comment vérifier le vôtre en cinq minutes

Tapez l’adresse de votre site suivie de /robots.txt dans une fenêtre de navigation privée. Si le fichier s’affiche, cherchez un Disallow: / seul, ou un dossier qui contient vos styles, vos scripts ou vos images. S’il ne s’affiche pas, ce n’est pas une urgence : sans fichier, tout est autorisé.

Ensuite, ouvrez la Search Console. Le rapport robots.txt (dans les paramètres, pour une propriété de type domaine) montre les fichiers que Google a trouvés, la date de sa dernière lecture et les erreurs de syntaxe, avec un bouton pour demander une nouvelle lecture après une correction. Le rapport « Pages » liste les adresses « bloquées par le fichier robots.txt » et celles « indexées malgré le blocage ». Si vous découvrez cet outil, commencez par notre guide de la Search Console pour débutants.

Pour un premier avis sans ouvrir ces outils, notre analyse gratuite de site vérifie le robots.txt en même temps que la vitesse, les bases SEO et la lisibilité par les IA, et vous indique quoi corriger.

WordPress, Shopify : où se trouve le fichier

Sur WordPress, le fichier est souvent généré à la volée, et les extensions de SEO ajoutent un éditeur pour le modifier. Si un vrai fichier robots.txt est déposé à la racine, c’est lui qui gagne. Attention aussi à la case « Demander aux moteurs de recherche de ne pas indexer ce site », dans Réglages puis Lecture : depuis la version 5.3 elle ajoute une balise noindex, nofollow sur toutes les pages. Décochez-la à la mise en ligne.

Sur Shopify, le fichier se personnalise à travers un gabarit nommé robots.txt.liquid dans le code du thème, et Shopify prévient qu’un mauvais usage « peut faire perdre tout le trafic ». Sur un site sur mesure, c’est un simple fichier texte dans le dossier publié : demandez à votre développeur.

Ce que fait l’agence Resolve

Chez l’agence Resolve (Re:solve), le robots.txt fait partie des premières lignes de tout audit, parce qu’une erreur à cet endroit annule tout le reste du travail. Sur une refonte, nous gardons la version de test derrière un mot de passe plutôt que derrière un Disallow, ce qui évite de copier le mauvais fichier le jour de la mise en ligne, et nous relisons le rapport robots.txt de la Search Console dans les jours qui suivent.

Questions fréquentes

Faut-il absolument un fichier robots.txt ?

Non. Sans fichier, Google considère que tout est autorisé et le site fonctionne normalement. Un fichier minimal avec la ligne Sitemap reste utile pour indiquer aux robots la liste de vos pages.

Combien de temps avant que Google voie ma correction ?

Google garde en général le fichier en mémoire jusqu’à 24 heures, et le rapport robots.txt de la Search Console permet de demander une nouvelle lecture tout de suite. Le retour des pages dans les résultats prend plus de temps, car chaque page doit être revisitée.

Le robots.txt fait-il monter mon site dans Google ?

Non. Il ne contient aucun signal de qualité, il ne fait qu’ouvrir ou fermer des portes. Son rôle est de ne pas fermer celles qui comptent.