Was ist robots.txt?
- Eine Textdatei, die sich an der Wurzel Ihrer Website befindet.
- Beauftragt Suchmaschinen-Crawler wie Googlebot, welche Seiten zu kriechen und index.
- Verwenden Sie Richtlinien wie „User-agent“, „Disallow“ und „Allow“ zur Steuerung des Zugriffs.
Welche URLs zu Blockieren verstehen
Viele Arten von URLs müssen nicht in Suchergebnissen indexiert werden und könnte der Grund für die Verschwendung von Google Crawl Budget sein. Dazu gehören oft:
- Dynamische URLs: URLs mit Parametern wie Suchbegriffe, Filter oder Produktvariationen.
- Kontenspezifische URLs: Seiten, die mit Benutzerkonten, Einkaufswagen oder Checkout-Prozessen zusammenhängen.
Diese URLs können mit Hilfe einer robots.txt datei.
Wann blockierte URLs behoben
Während es in der Regel okay ist, die oben genannten Arten von URLs zu blockieren, manchmal könnten wichtige Seiten versehentlich blockiert werden. Dies kann die Sichtbarkeit Ihrer Website in Suchergebnissen negativ beeinflussen.
Schritte, um das Problem zu beheben
Identifizierung der betroffenen URLs:
- Mit dem „Index Coverage“-Bericht von Google Search Console finden Sie Seiten mit dem „Blocked by robots.txt“-Fehler.
- Überprüfen Sie die betroffenen URLs, um festzustellen, ob sie für Googlebot zugänglich sein sollen.
Zugriff und Bearbeiten Sie Ihre robots.txt Datei:
- Verwenden Sie einen FTP-Client oder das Content-Management-System Ihrer Website (CMS), um auf die Datei zuzugreifen.
- Machen Sie eine Sicherungskopie der Datei, bevor Sie Änderungen vornehmen.
Analysieren Sie die robots.txt Datei:
- Überprüfen Sie nach Richtlinien, die Googlebot möglicherweise vom Zugriff auf die betroffenen URLs blockieren.
- Häufige Täter umfassen übermäßig breite „Disallow“-Richtlinien oder falsche Syntax.
Notwendige Änderungen vornehmen:
- Wenn Sie möchten, dass Googlebot auf die URLs zugreifen, die entsprechenden „Disallow“-Richtlinien entfernen oder ändern.
- Zum Beispiel, wenn die Richtlinie Unmittelbar: /Produkte/, sie können es ändern Unmittelbar: /Produkte/Verkauf/ den zugriff auf andere produktseiten zu ermöglichen.
- Stellen Sie die richtige Syntax sicher und vermeiden Sie die Verwendung von Wildcard-Zeichen übermäßig.
Testen Sie Ihre Änderungen:
- Verwenden einer robots.txt prüfwerkzeug zu überprüfen, ob die änderungen den gewünschten effekt haben.
- Überprüfen Sie, ob Googlebot nun auf die zuvor blockierten URLs zugreifen kann.
Senden Sie die Aktualisierte robots.txt Datei:
- Speichern Sie die geänderte robots.txt-Datei auf die Wurzel Ihrer Website.
- Erlauben Sie etwas Zeit für Googlebot, Ihre Website neu zu kriechen und ihren Index zu aktualisieren.
Weitere Tipps
- Bestimmt sein: Verwenden Sie präzise Richtlinien, um den Zugriff auf bestimmte Seiten oder Verzeichnisse zu kontrollieren.
- Vermeiden Sie Overblocking: Zu viele Seiten blockieren kann die Sichtbarkeit Ihrer Website negativ beeinflussen.
- Verwenden Sie „Allow“-Richtlinien: Wenn Sie den Zugriff auf bestimmte Seiten ausdrücklich zulassen möchten, verwenden Sie die „Allow“-Richtlinien.
- C„Sitemap.xml“: Senden Sie eine Sitemap an Google Search Console, um wichtige Seiten zu priorisieren.
- Monitor für Änderungen: Überprüfen Sie regelmäßig Ihre robots.txt-Datei und Google Search Console, um sicherzustellen, dass es wie beabsichtigt funktioniert.
Beispiel robots.txt:
- Benutzeragent: Googlebot
- Unmittelbar: /admin/
- Unmittelbar: /Checkout/
- Erlauben: /Bilder/
Mit diesem Beispiel kann Googlebot auf alle Seiten zugreifen, außer in den Verzeichnissen „/admin/“ und „/checkout/“. Es erlaubt auch ausdrücklich Zugriff auf Bilder.
Denken Sie daran: Überprüfen Sie sorgfältig die Struktur und Ziele Ihrer Website, bevor Sie Änderungen in Ihrer robots.txt-Datei. Falsche Modifikationen können unbeabsichtigte Konsequenzen haben.
Durch diese Schritte können Sie das Problem „Blocked by robots.txt“ effektiv beheben und die Sichtbarkeit Ihrer Website in den Suchergebnissen verbessern.
