Qu'est-ce que robots.txt?
- Un fichier texte situé à la racine de votre site Web.
- Instruise moteurs de recherche rampeurs comme Googlebot quelles pages à ramper et index.
- Utilise des directives telles que "User-agent", "Disallow" et "Autoriser" pour contrôler l'accès.
Comprendre quelles URLs bloquer
De nombreux types d'URL n'ont pas besoin d'être indexés dans les résultats de recherche et pourrait être la raison du gaspillage du budget de rampe Google. Il s'agit souvent de:
- URLs dynamiques : URLs avec des paramètres comme les termes de recherche, les filtres ou les variations de produits.
- URLs spécifiques à un compte : Pages liées aux comptes utilisateurs, aux paniers d'achat ou aux processus de paiement.
Ces URL peuvent être bloquées d'être indexées en utilisant un robots.txt fichier.
Quand corriger les URLs bloquées
Bien qu'il soit généralement acceptable de bloquer les types d'URL ci-dessus, parfois des pages importantes peuvent être accidentellement bloquées. Cela peut avoir un impact négatif sur la visibilité de votre site Web dans les résultats de recherche.
Étapes à suivre pour résoudre le problème
Identifier les URLs touchées :
- Utilisez le rapport Google Search Console.com pour trouver les pages avec l'erreur.
- Inspectez les URLs concernées pour déterminer si elles doivent être accessibles à Googlebot.
Accédez et modifiez votre fichier robots.txt :
- Utilisez un client FTP ou votre site Web pour accéder au fichier.
- Faites une copie de sauvegarde du fichier avant d'apporter des modifications.
Analyser les robots.txt Fichier :
- Vérifiez les directives qui pourraient bloquer Googlebot d'accéder aux URL touchées.
- Les coupables courants comprennent des directives trop larges ou une syntaxe incorrecte.
Apporter les changements nécessaires :
- Si vous voulez que Googlebot accède aux URLs, supprimez ou modifiez les directives pertinentes.
- Par exemple, si la directive est Rejet: /produits/, vous pouvez le changer en Refus: /produits/vente/ permettre l'accès à d'autres pages de produits.
- Assurez une bonne syntaxe et évitez d'utiliser des caractères wildcard trop.
Testez vos changements :
- Utiliser une robot.txt outil de test vérifier que les changements ont l'effet désiré.
- Vérifiez si Googlebot peut maintenant accéder aux URL précédemment bloquées.
Soumettre le fichier mis à jour robots.txt:
- Enregistrez le fichier robot.txt modifié sur votre site web.
- Laissez un peu de temps à Googlebot pour re-croiser votre site Web et mettre à jour son index.
Conseils supplémentaires
- Être spécifique: Utiliser des directives précises pour contrôler l'accès à des pages ou des répertoires spécifiques.
- Évitez le surblocage : Bloquer trop de pages peut avoir un impact négatif sur la visibilité de votre site.
- Utiliser les directives «Autoriser»: Si vous voulez autoriser explicitement l'accès à certaines pages, utilisez les directives -Allow.
- Consider en utilisant : Soumettre une carte de site à Google Search Console pour aider à prioriser les pages importantes.
- Surveiller les changements : Consultez régulièrement votre fichier robots.txt et Google Search Console pour vous assurer qu'il fonctionne comme prévu.
Exemple robots.txt:
- Agent utilisateur: Googlebot
- Refuser: /admin/
- Refuser: /contrôle/
- Autorise: /images/
Cet exemple permet à Googlebot d'accéder à toutes les pages, à l'exception de celles des répertoires --/admin/- et --/checkout/-. Il permet également explicitement l'accès aux images.
Rappelez-vous : Examinez attentivement la structure et les objectifs de votre site Web avant d'apporter des modifications à votre fichier robots.txt. Des modifications incorrectes peuvent avoir des conséquences imprévues.
En suivant ces étapes, vous pouvez corriger efficacement le problème de "Blocked by robots.txt" et améliorer la visibilité de votre site web dans les résultats de recherche.
