Wie zu beheben Blockiert durch unbefugte Anfrage (401) Ausgabe

Wenn Sie möchten, dass Google die Seiten indiziert, müssen Sie die Einstellungen Ihrer Website ändern, um den Zugriff auf Googlebot zu ermöglichen. Hier ist wie:

Schritt 1: Überprüfen Sie den Fehler in GSC

1. Gehen Sie zu Google Search Console → Seiten
2. Klicken Sie auf Gesperrt durch unbefugte Anfrage (401)
3. Beachten Sie die betroffenen URLs
4. Klicken Sie auf Inspect URLauf einer Beispiel-URL zu sehen, wann Google zuletzt versucht, es zu kriechen

Schritt 2: Testen Sie die URL

In Ihrem Browser:

1. Fenster incognito/private öffnen
2. Besuchen Sie die betroffene URL
3. Sehen Sie eine Login-Prompt oder 401 Fehlerseite?

Verwendung von cURL (für technische Anwender):

curl -I https://yoursite.com/affected-page

Sieh nach:

HTTP/1.1 401 Unauthorized
WWW-Authenticate: Basic realm="Restricted Area"

Verwendung von Online-Tools:

– HTTP Status Code Checker Geben Sie Ihre URL ein und überprüfen Sie, ob sie 401 zurückgibt

Schritt 3: Überprüfen Sie den Passwortschutz

Wenn Ihre Seiten passwortgeschützt sind, müssen Sie den Passwortschutz entfernen. Dieser Ansatz ist ideal, wenn der eingeschränkte Inhalt den Suchern Wert bietet. Allerdings wird die Anzeige von unterschiedlichen Inhalten zu Googlebot als zu menschlichen Benutzern betrachtet kloakenund kann die Webmaster-Richtlinien von Google verletzen.

WordPress:

1. Gehen Sie zu Einstellungen → Lesen
2. Prüfen Sie, ob Suchmaschinensichtbarkeit suchenist aktiviert (sollte UN geprüft werden)
3. Überprüfen Sie, ob Sie ein kommen bald / Wartung Plugin
4. Verifizieren Sie einzelne Seiten: Seite bearbeiten → Seitenattribute → Passwortschutz

Shopify:

1. Gehen Sie zum Online-Shop → Einstellungen
2. Überprüfung Passwort vergessenabschnitt
3. Stellen Sie sicher, dass es für öffentlich zugängliche Seiten deaktiviert ist

cPanel/Server Ebene:

1. Überprüfung .htpassw dateien in den betroffenen verzeichnissen
2. Überprüfung .htaccessfür authentifizierungsregeln:

AuthType Basic
AuthName "Restricted Area"
AuthUserFile /path/to/.htpasswd
Require valid-user

Schritt 4: Inspect Security Plugin Einstellungen

Viele Sicherheits-Plugins blockieren Googlebot versehentlich. Prüfen Sie diese:

Wordfence (WordPress):

1. Gehen Sie zu Wordfence → Firewall → Alle Firewall Optionen
2. Scroll to Beschränkungsregeln
3. Stellen Sie sicher, dass Googlebot nicht blockiert wird
4. Wordfence → Werkzeuge → Whois → Googlebot IP eingeben
5. Verifizieren Sie es ist nicht schwarz aufgeführt

iThemes Security (WordPress):

1. Zu Sicherheit gehen → Einstellungen → 404 Erkennung
2. Sicherheit 404 Fehler von eingeloggten Benutzern ignorierenwird aktiviert
3. Sicherheit überprüfen → Einstellungen → Netzwerk Brute Force
4. Whitelist Google IP-Bereiche bei Bedarf

Cloudflare:

1. Loggen Sie sich in Cloudflare dashboard
2. Zu Sicherheit gehen → WAF
3. Überprüfung der Regeln, die Benutzer Agenten blockieren
4. Review Firewall Events für Googlebot Blöcke

Schritt 5: Server-Logs überprüfen

Apache:

tail -f /var/log/apache2/error.log | grep 401

Nginx:

tail -f /var/log/nginx/error.log | grep 401

Suchen Sie nach Einträgen, die Googlebot-Anfragen zeigen, abgelehnt werden.

Schritt 6: Test als Googlebot

Verwenden Sie das URL Inspection Tool:

1. Gehen Sie zu Google Search Console
2. Geben Sie die betroffene URL ein
3. Klicken Sie auf Test Live URL
4. Klicken Sie auf Geprüfte Seite anzeigenUnd wie
5. Vergleichen Sie, was Googlebot sieht vs. was Sie sehen

Wenn Googlebot eine Anmeldeseite sieht, aber Sie nicht, Sie haben Ihr Problem gefunden.