Hai mai incontrato un “Blocked a causa di una richiesta non autorizzata (401)” errore in Google Search Console? Questo errore frustrante può impedire al tuo sito web di essere indicizzato da Google, che può influenzare significativamente il traffico di ricerca. Ma non preoccuparti, ci sono modi per risolvere il problema!
Cosa significa l'errore?
Un “Blocked a causa di richiesta non autorizzata (401)” errore indica che Googlebot, il motore di ricerca crawler per Google, è bloccato dall'accesso a determinate pagine sul tuo sito web.
Questo può accadere per alcuni motivi, come ad esempio:
Protezione delle password: Se il tuo sito web richiede una password per accedere a determinate pagine, Googlebot non sarà in grado di strisciare.
Restrizioni IP: Se si dispone di restrizioni che bloccano determinati indirizzi IP, è possibile bloccare inavvertitamente Googlebot.
Errori di autenticazione: Potrebbe esserci un problema con il processo di autenticazione del tuo sito web che impedisce a Googlebot di accedere.
Come Fissare
La soluzione a questo errore dipende dal fatto che si desidera che Google indicizzi le pagine interessate. Ecco alcune opzioni:
Consenti a Googlebot di indicizzare le pagine
Se vuoi che Google indici le pagine, dovrai modificare le impostazioni del tuo sito web per consentire l'accesso a Googlebot. Ecco come:
Passo 1: Verificare l'errore in GSC
- Vai a Google Search Console → Pagine
- Clicca su Bloccato a causa di richiesta non autorizzata (401)
- Notare gli URL interessati
- Fare clic URL dell'ispezionesu un URL di esempio per vedere quando Google ha tentato ultimo di strisciare
Passo 2: Prova l'URL Te stesso
Nel tuo browser:
- Aprire una finestra incognito/privato
- Visita l'URL interessato
- Hai visto un prompt dei contatti o una pagina di errore 401?
Utilizzo di cURL (per utenti tecnici):
curl -I https://yoursite.com/affected-page
Cerca:
HTTP/1.1 401 Unauthorized WWW-Authenticate: Basic realm="Restricted Area"
Utilizzo di strumenti online:
– Controllo codice HTTP Inserisci il tuo URL e controlla se ritorna 401
Passo 3: Controllare la protezione delle password
Se le tue pagine sono protette da password, dovrai rimuovere la protezione della password. Questo approccio è ideale se il contenuto limitato offre valore ai ricercatori. Tuttavia, la visualizzazione di contenuti diversi a Googlebot rispetto agli utenti umani è considerata occultamentoe può violare le linee guida Webmaster di Google.
WordPress:
- Vai alle Impostazioni →
- Verifica se Visibilità del motore di ricercaè abilitato (dovrebbe essere UNchecked)
- Controllare se si sta utilizzando un imminente plugin di manutenzione
- Verificare le singole pagine: Modifica pagina → Pagina Attributi → Protezione password
Shopify:
- Vai al negozio online → Preferenze
- Check Protezione della passwordsezione
- Assicurarsi che sia disabilitato per le pagine pubbliche
livello cPanel/argento:
- Controllare .htpasswd file in directory interessate
- Recensione .htaccessper le regole di autenticazione:
AuthType Basic AuthName "Restricted Area" AuthUserFile /path/to/.htpasswd Require valid-user
Passo 4: Ispezionare le impostazioni del plugin di sicurezza
Molti plugin di sicurezza bloccano Googlebot accidentalmente. Controlla questi:
Parola (WordPress):
- Vai a Wordfence → Firewall → Tutte le opzioni Firewall
- Scorrere a Norme di limitazione del tasso
- Assicurarsi che Googlebot non è bloccato
- Controllare Wordfence → Strumenti → Chi è → Inserisci Googlebot IP
- Verificare che non sia la lista nera
iThemes Security (WordPress):
- Vai alla Sicurezza → Impostazioni → 404 Rilevazione
- Assicurarsi Ignora 404 errori da utenti registratiè abilitato
- Controllo Sicurezza → Impostazioni → Network Brute Force
- Se necessario, gli intervalli IP di Google
Cloudflare:
- Accedi alla dashboard Cloudflare
- Vai alla Sicurezza → WAF
- Controllare le regole che bloccano gli agenti utente
- Eventi Firewall per blocchi Googlebot
Passo 5: Controllare i registri del server
Apache:
tail -f /var/log/apache2/error.log | grep 401
Nginx:
tail -f /var/log/nginx/error.log | grep 401
Cerca le voci che mostrano le richieste di Googlebot che vengono negate.
Passo 6: Prova come Googlebot
Utilizzare lo strumento di ispezione URL:
- Vai a Google Search Console
- Inserisci l'URL interessato
- Fare clic Test URL live
- Fare clic Visualizza la pagina test→ Schermata
- Confronta ciò che Googlebot vede contro ciò che vedi
Se Googlebot vede una pagina di login ma non lo fai, hai trovato il tuo problema.
Utilizzare schema markup per il contenuto paywalled: Se rimuovere le restrizioni di accesso non è un'opzione, è possibile segnalare a Google la natura del tuo contenuto limitato. Uso schema markup per il contenuto paywalled fornire a Google dettagli sul contenuto dietro il paywall. Questo aiuta Google a comprendere il valore del contenuto senza realmente accedervi.
Rivedere le restrizioni IP: Se si dispone di restrizioni IP in atto, assicurarsi che gli indirizzi IP di Googlebot non siano bloccati. È possibile trovare un elenco degli indirizzi IP di Googlebot sul sito di Google Search Console Help.
Correggere gli errori di autenticazione: Se sospetti che ci sia un problema con il processo di autenticazione del tuo sito web, dovrai risolvere il problema e risolverlo.
Blocca Googlebot da Indicizzare le Pagine
Se non si desidera che Google indici le pagine interessate, è possibile utilizzare la direttiva Disallow nel file robots.txt per bloccare Googlebot da accedervi. Ecco come:
Creare un file robot.txt: Se non hai già un robot. txt file, dovrete crearne uno. È possibile aggiungere una direttiva Disallow a questo file per bloccare Googlebot da specifiche pagine o directory.
Aggiungi la direttiva Disallow: La direttiva Disallow dovrebbe assomigliare a questo:
Disallow: /percorso/blocco/pagina/
È possibile aggiungere più direttive Disallow al file robots.txt per bloccare più pagine o directory.
Seguendo questi passaggi, si dovrebbe essere in grado di risolvere il “Blocked a causa di una richiesta non autorizzata (401)” errore e garantire che il vostro sito web è indicizzato correttamente da Google.
Una volta apportate modifiche alle impostazioni o ai robot del vostro sito web. file txt, potrebbe richiedere un po 'di tempo per Google per ricrawl il tuo sito web e aggiornare il suo indice.
È possibile utilizzare l'URL Test Live in Google Search Console per testare come Googlebot vede il tuo sito web. Questo può aiutarti a identificare eventuali problemi che potrebbero impedire a Googlebot di accedere alle tue pagine.
Cause comuni per Piattaforma
WordPress 401 cause
1. Plugin di sicurezza che bloccano Googlebot
Plugin come Wordfence, Sucuri, o iThemes possono identificare erroneamente Googlebot come una minaccia.
Fisso:
// Add to functions.php or custom plugin
add_filter('wordfence_is_googlebot', '__return_true');
2. Iscrizione/LMS Plugins
Plugin come MemberPress, Restrict Content Pro, o LearnDash possono proteggere troppe pagine.
Fisso:
– Recensione quale contenuto è solo membri
– Assicurarsi che le pagine di anteprima pubblica non sono limitate
– Aggiungere regole di eccezione per i motori di ricerca
3. Autenticazione HTTP in .htaccess
Controlla il tuo `.htaccess` per:
<Files wp-login.php> AuthType Basic
AuthName "Protected"
AuthUserFile /path/to/.htpasswd
Require valid-user
</Files>
Fisso:
Assicurare questo SOLO protegge wp-login.php, non pagine pubbliche.
4. Blocco IP di livello server
Il vostro host può bloccare gli intervalli IP di Google.
Whitelist Googlebot IPs:
# In .htaccess
SetEnvIf User-Agent "Googlebot" AllowBot
Order Deny, Allow
Deny from all
Allow from env=AllowBot
Shopify 401 Cause
1. Negozio protetto dalla password
La causa più comune – il negozio è in modalità password durante lo sviluppo.
Fisso:
- Shopify Admin → Online Store → Preferenze
- Scorrere a “Protezione password”
- Deselezionare “Abilitare la password” (a meno che non intenzionale)
2. Collezioni nascoste
Collezioni impostate a “Hidden” nei motori di ricerca.
Fisso:
- Vai ai Prodotti → Collezioni
- Clicca sulla raccolta
- Scorrere a “Cerca l’anteprima dell’elenco dei motori”
- Assicurarsi che non è nascosto
3. Shopify Scripts Blocking Access
Custom Shopify Scripts può bloccare inavvertitamente crawler.
Fisso:
Rassegna tema.liquido e script per i controlli di autenticazione.
Domande frequenti
Un errore non autorizzato 401 si verifica quando un server web richiede credenziali di autenticazione per accedere a una risorsa, ma la richiesta manca di credenziali o fornisce quelle non valide. Per i siti web, questo significa che Googlebot non può accedere alle tue pagine perché sono protetti da password o dietro le barriere di autenticazione.
Un errore 401 impedisce a Googlebot di accedere e indicizzare le pagine interessate, che possono portare a:
1) Pagine che vengono rimosse dai risultati di ricerca,
2) Perdita di classifica di ricerca e visibilità,
3) Traffico organico diminuito, e
4) Bilancio di striscia sprecato su pagine inaccessibili. Se le pagine importanti restituiscono 401 errori, le prestazioni di ricerca complessive del tuo sito diminuiranno significativamente.
Sì, plugin di sicurezza come Wordfence, iThemes Security, Sucuri e plugin di appartenenza come MemberPress possono causare 401 errori bloccando gli indirizzi IP di Googlebot, richiedendo l'autenticazione per le pagine pubbliche, o implementando eccessivamente aggressivo limite di tasso che tratta legittimi crawler come minacce. Controllare le impostazioni del plugin di sicurezza e whitelist Googlebot agenti utente.
Dopo aver risolto 401 errori, le modifiche tipicamente richiedono 24-48 ore per riflettere in Google Search Console quando si utilizza la funzione ‘Request Indexing’. Il raschiamento naturale senza richieste manuali può richiedere ovunque da pochi giorni a 2-3 settimane a seconda della frequenza di strisciamento del sito e l'importanza della pagina. Monitorare lo strumento di ispezione dell'URL per monitorare quando Google recupera con successo le pagine fisse.
Per consentire a Googlebot di accedere a contenuti paywalled o protetti, utilizzare il markup dei dati strutturato per i contenuti paywalled (schema.org/NewsArticolo con isAccessibleForFree property). Mostra contenuti di anteprima a tutti gli utenti, compresi i motori di ricerca, indicare chiaramente il paywall, e non mostrare mai contenuti completamente diversi ai bot contro gli utenti (questo è l'occultamento). È inoltre possibile whitelist agente utente di Googlebot nel middleware di autenticazione mantenendo la pagina protetta per gli utenti regolari.
