Cos'è robots.txt?
- Un file di testo situato alla radice del tuo sito web.
- Istruisce i crawler del motore di ricerca come Googlebot quali pagine per strisciare e indice.
- Utilizza le direttive come “User-agent”, “Disallow,” e “Allow” per controllare l’accesso.
Capire quali URL bloccare
Molti tipi di URL non hanno bisogno di essere indicizzati nei risultati di ricerca e potrebbero essere la ragione per lo spreco di Google crawl budget. Questi spesso includono:
- URL dinamici: URL con parametri come termini di ricerca, filtri o variazioni di prodotto.
- URL specifici dell'account: Pagine relative a account utente, carrelli per la spesa o processi di checkout.
Questi URL possono essere bloccati dall'essere indicizzati utilizzando un robots.txt file.
Quando riparare gli URL bloccati
Mentre è generalmente bene bloccare i tipi di URL sopra, a volte le pagine importanti potrebbero accidentalmente essere bloccate. Questo può influenzare negativamente la visibilità del tuo sito web nei risultati di ricerca.
Passi per risolvere il problema
Identificare gli URL interessati:
- Utilizzare il rapporto “Index Coverage” di Google Search Console per trovare pagine con l’errore “Blocked by robots.txt”.
- Ispezionare gli URL interessati per determinare se dovrebbero essere accessibili a Googlebot.
Accedi e modifica il tuo robot.txt File:
- Utilizzare un client FTP o il sistema di gestione dei contenuti del tuo sito web (CMS) per accedere al file.
- Fare una copia di backup del file prima di effettuare eventuali modifiche.
Analizzare il robot.txt File:
- Controllare le direttive che potrebbero bloccare Googlebot dall'accesso agli URL interessati.
- I colpevoli comuni includono le direttive "Disallow" eccessivamente ampie o la sintassi errata.
Fare cambiamenti necessari:
- Se si desidera che Googlebot accede agli URL, rimuovere o modificare le relative direttive “Disallow”.
- Per esempio, se la direttiva è Disallow: /products/# puoi cambiarlo # Disavanzo: /prodotti/vendita/ per consentire l'accesso ad altre pagine del prodotto.
- Assicurare la sintassi corretta ed evitare di usare caratteri jolly eccessivamente.
Prova le tue modifiche:
- Utilizzare robots.txt strumento di prova per verificare che le modifiche abbiano l'effetto desiderato.
- Controlla se Googlebot può ora accedere agli URL precedentemente bloccati.
Inviare l'aggiornamento robots.txt File:
- Salvare il file robots.txt modificato alla radice del tuo sito web.
- Consentire un po 'di tempo per Googlebot per ri-crawl il tuo sito web e aggiornare il suo indice.
Ulteriori suggerimenti
- Sii specifico: Utilizzare direttive precise per controllare l'accesso a pagine o directory specifiche.
- Evitare sovrapposti: Bloccare troppe pagine può influenzare negativamente la visibilità del tuo sito web.
- Utilizzare le direttive “Allow”: Se si desidera consentire esplicitamente l'accesso a determinate pagine, utilizzare le direttive "Allow".
- Cutilizzando “Sitemap.xml”: Invia una mappa del sito a Google Search Console per aiutare a priorizzare le pagine importanti.
- Monitor per le modifiche: Controlla regolarmente il tuo file robots.txt e Google Search Console per assicurarsi che funzioni come previsto.
Esempio robots.txt:
- User-agent: Googlebot
- Disallow: /admin/
- Disallow: /checkout/
- Consentire: /images/
Questo esempio consente a Googlebot di accedere a tutte le pagine tranne quelle nelle directory “/admin/” e “/checkout/”. Inoltre consente esplicitamente l'accesso alle immagini.
Ricorda: Controlla attentamente la struttura e gli obiettivi del tuo sito prima di apportare modifiche al tuo file robots.txt. Le modifiche non corrette possono avere conseguenze indesiderate.
Seguendo questi passaggi, è possibile risolvere efficacemente il problema “Blocked by robots.txt” e migliorare la visibilità del sito nei risultati di ricerca.
