Comment réparer bloqué en raison d'une demande non autorisée (401) Question

Si vous voulez que Google indexe les pages, vous devrez modifier les paramètres de votre site web pour permettre l'accès à Googlebot. Voici comment:

Étape 1: Vérifier l'erreur dans GSC

1. Aller à Google Search Console → Pages
2. Cliquez sur Bloqué en raison d'une demande non autorisée (401)
3. Notez les URLs affectées
4. Cliquez sur Inspecter l'URLsur un exemple d'URL pour voir quand Google a essayé de ramper

Étape 2: Testez l'URL vous-même

Dans votre navigateur :

1. Ouvrir une fenêtre incognito/privée
2. Visitez l'URL affectée
3. Vous voyez une adresse de connexion ou une page d'erreur 401 ?

Utilisation de cURL (pour les utilisateurs techniques):

curl -I https://yoursite.com/affected-page

Cherchez :

HTTP/1.1 401 Unauthorized
WWW-Authenticate: Basic realm="Restricted Area"

Utilisation des outils en ligne :

– Vérificateur de code d'état HTTP Saisissez votre URL et vérifiez si elle retourne 401

Étape 3: Vérification de la protection par mot de passe

Si vos pages sont protégées par mot de passe, vous devrez supprimer la protection par mot de passe. Cette approche est idéale si le contenu restreint offre de la valeur aux chercheurs. Cependant, l'affichage de contenu différent pour Googlebot que pour les utilisateurs humains est considéré couvertureet peut violer les directives du webmaster de Google.

WordPress :

1. Aller à Paramètres → Lecture
2. Vérifiez si Visibilité du moteur de rechercheest activé (devrait être vérifié par l ' ONU)
3. Vérifiez si vous utilisez un plugin à venir bientôt / entretien
4. Vérifier les pages individuelles : Modifier la page → Attributs de page → Protection des mots de passe

Magasiner :

1. Aller à la boutique en ligne → Préférences
2. Vérification Protection par mot de passerubrique
3. S'assurer qu'il est désactivé pour les pages publiques

cNiveau/Serveur:

1. Vérifiez .htpasswd fichiers dans les répertoires touchés
2. Révision .haccèspour les règles d'authentification:

AuthType Basic
AuthName "Restricted Area"
AuthUserFile /path/to/.htpasswd
Require valid-user

Étape 4: Inspecter les paramètres du plugin de sécurité

De nombreux plugins de sécurité bloquent Googlebot accidentellement. Vérifiez ceci:

Wordfence (WordPress) :

1. Aller à Wordfence → Pare-feu → Toutes les options pare-feu
2. Faites défiler vers Règles de limitation des taux
3. Assurez-vous que Googlebot n'est pas bloqué
4. Vérifiez Wordfence → Outils → Whois → Entrez Googlebot IP
5. Vérifier qu'il n'y a pas de liste noire

iThemes Security (WordPress) :

1. Aller à Sécurité → Paramètres → 404 Détection
2. Assurer Ignorer les erreurs 404 des utilisateurs connectésest activé
3. Vérifier la sécurité → Paramètres → Réseau Brute Force
4. La liste blanche des gammes IP de Google

Nuageflare:

1. Connectez-vous au tableau de bord Cloudflare
2. Aller à Sécurité → WAF
3. Vérifier les règles qui bloquent les agents utilisateurs
4. Examen des événements pare-feu pour les blocs Googlebot

Étape 5: Vérifier les journaux des serveurs

Apache :

tail -f /var/log/apache2/error.log | grep 401

Nginx:

tail -f /var/log/nginx/error.log | grep 401

Recherchez les entrées montrant les demandes Googlebot refusées.

Étape 6: Tester comme Googlebot

Utilisez l'outil d'inspection URL :

1. Aller à Google Search Console
2. Saisissez l'URL touchée
3. Cliquez sur Tester l'URL en direct
4. Cliquez sur Affichage Page testée→ Capture d'écran
5. Comparer ce que Googlebot voit vs ce que vous voyez

Si Googlebot voit une page de connexion mais que vous n'avez pas, vous avez trouvé votre problème.