Home SEO Corrigez votre erreur d’exploration Robots.Txt

Corrigez votre erreur d’exploration Robots.Txt

by Zac Harris
Corrigez votre erreur d'exploration Robots.Txt


Si vous essayez d’indexer vos pages dans Google, Google Search Console peut être l’une des meilleures ressources pour vous. Cependant, cela peut aussi devenir un casse-tête lorsque vous rencontrez des erreurs d’indexation. Dans cet article, nous aborderons l’une des erreurs d’indexation les plus courantes et vous montrerons comment la corriger.

Les pages ne peuvent pas être explorées ou affichées en raison de la restriction robots.txt

L’une des erreurs les plus courantes dans Google Search Console est l’erreur “Les pages ne peuvent pas être explorées en raison de la restriction robots.txt”. Qu’est ce que ça signifie?

Cette erreur indique que vous avez empêché le robot d’exploration de Google d’explorer vos pages de destination.

Pourquoi cette erreur apparaît-elle ?

Si vous rencontrez ce message d’erreur, votre fichier robots.txt ressemblera à ceci :

Agent utilisateur: *

Ne pas permettre: /

Cela indiquerait à Google d’arrêter d’explorer l’intégralité de votre site.

Agent utilisateur: *

Interdire : /exemple-page/

Cela indiquerait à Google d’arrêter de suivre cet itinéraire spécifique. Des variantes de cette URL comme /exemple-page/chemin serait également bloqué.

Astuce : La règle * s’applique à tous les bots sauf s’il existe un ensemble de règles plus spécifiques.

Si vous avez ajouté l’agent utilisateur Googlebot, votre fichier robots.txt ressemblera à ceci :

Agent utilisateur : Googlebot

Ne pas permettre: /

Vous pouvez toujours voir vos pages dans les résultats de recherche, mais Google affichera le mauvais titre et aura une méta description indiquant “Aucune information disponible pour cette page”.

La désactivation d’une ou plusieurs pages via Robots.txt ne les supprime pas de l’index de Google. Par conséquent, si vous avez des pages liées à vos pages non autorisées, elles apparaîtront toujours dans les résultats de recherche.

comment résoudre ce problème

Heureusement, il existe une solution simple à cette erreur. Tout ce que vous avez à faire est de mettre à jour votre fichier robots.txt (example.com/robots.txt) et d’autoriser Googlebot (et d’autres) à explorer vos pages.

Si vous souhaitez que Googlebot explore uniquement ces pages, votre fichier robots.txt ressemblera à ceci :

Agent utilisateur : Googlebot

Permettre: /

Si vous autorisez tous les agents utilisateurs à explorer votre site, votre fichier robots.txt ressemblera à ceci :

Agent utilisateur: *

Permettre: /

Vous pouvez tester ces modifications à l’aide du testeur robots.txt dans Google Search Console sans affecter votre fichier robots.txt en direct. Une fois que vous avez validé vos modifications, vous les transférez dans votre fichier robots.txt en direct.



Cet article a été traduit par spyfu

Related Posts

Leave a Comment