Cómo arreglar bloqueado debido a petición no autorizada (401) Edición

Si desea que Google indexe las páginas, necesitará cambiar la configuración de su sitio web para permitir el acceso de Googlebot. Así es:

Paso 1: Verificar el error en GSC

1. Ir a Google Search Console → Páginas
2. Haga clic en Bloqueado por solicitud no autorizada (401)
3. Nota las URL afectadas
4. Haga clic Inspección URLen una URL de muestra para ver cuando Google último intentó arrastrarlo

Paso 2: Pruebe la URL usted mismo

En su navegador:

1. Abrir una ventana incógnito/privada
2. Visita la URL afectada
3. ¿Ves un aviso de inicio de sesión o página de error 401?

Usando cURL (para usuarios técnicos):

curl -I https://yoursite.com/affected-page

Busca:

HTTP/1.1 401 Unauthorized
WWW-Authenticate: Basic realm="Restricted Area"

Usando Herramientas en línea:

– Código de estado HTTP Introduzca su URL y compruebe si regresa 401

Paso 3: Compruebe la protección de contraseña

Si sus páginas están protegidas por contraseña, necesitará eliminar la protección de contraseña. Este enfoque es ideal si el contenido restringido ofrece valor a los buscadores. Sin embargo, se considera que mostrar diferentes contenidos a Googlebot que a usuarios humanos obstruccióny puede violar las Directrices Webmaster de Google.

WordPress:

1. Ir a Ajustes → Leer
2. Compruebe si Visibilidad del motor de búsquedaestá habilitado (debe ser revisado)
3. Comprueba si estás usando un plugin que viene pronto/mantenance
4. Verificar páginas individuales: Editar página → Page Attributes → Protección de contraseña

Shopify:

1. Ir a Tienda Online → Preferencias
2. Check Protección de contraseñassección
3. Asegúrese de que está deshabilitado para páginas de publicidad

cPanel/Server Level:

1. Check for .htpasswd archivos en directorios afectados
2. Examen .htaccesspara reglas de autenticación:

AuthType Basic
AuthName "Restricted Area"
AuthUserFile /path/to/.htpasswd
Require valid-user

Paso 4: Inspeccione los ajustes de plugin de seguridad

Muchos plugins de seguridad bloquean a Googlebot accidentalmente. Revise estos:

Wordfence (WordPress):

1. Ir a Wordfence → Firewall → Todas las opciones de firewall
2. Tranquila Reglas de limitación de la tasa
3. Asegúrese de que Googlebot no está siendo bloqueado
4. Ver Wordfence → Herramientas → Whois → Entrar Googlebot IP
5. Verificar que no está lista negra

iThemes Security (WordPress):

1. Ir a la seguridad → Ajustes → 404 Detección
2. Garantía Ignorar 404 errores de usuarios registradosestá habilitado
3. Check Security → Ajustes → Red Brute Force
4. Blancolist rangos IP de Google si es necesario

Cloudflare:

1. Inicie sesión en el panel de control Cloudflare
2. Ir a Seguridad → WAF
3. Compruebe las reglas bloqueando agentes de usuario
4. Reseña Firewall Eventos de Googlebot bloques

Paso 5: Compruebe los registros del servidor

Apache:

tail -f /var/log/apache2/error.log | grep 401

Nginx:

tail -f /var/log/nginx/error.log | grep 401

Busque entradas que muestran que se niegan las solicitudes de Googlebot.

Paso 6: Prueba como Googlebot

Utilice la herramienta de inspección URL:

1. Ir a Google Search Console
2. Introduzca la URL afectada
3. Haga clic Prueba URL en vivo
4. Haga clic Ver página testada→ Captura
5. Compare lo que Googlebot ve vs. lo que usted ve

Si Googlebot ve una página de inicio de sesión pero no lo hace, ha encontrado su problema.