¿Qué es robots.txt?
- Un archivo de texto ubicado en la raíz de su sitio web.
- Instruye a los rastreadores del motor de búsqueda como Googlebot que páginas a arrastrar e indexar.
- Usa directivas como «User-agent», «Disallow,» y «Allow» para controlar el acceso.
Comprendiendo qué URL para bloquear
Muchos tipos de URL no necesitan ser indexados en los resultados de búsqueda y podrían ser la razón de los desperdicios del presupuesto de Google. Estos incluyen a menudo:
- URL dinámicas: URLs con parámetros como términos de búsqueda, filtros o variaciones de productos.
- URL específicas de la cuenta: Páginas relacionadas con cuentas de usuario, carritos de compras o procesos de checkout.
Estas URL pueden ser bloqueadas de ser indexadas usando un robots.txt archivo.
Cuándo fijar URL bloqueadas
Aunque generalmente está bien bloquear los tipos de URL anteriores, a veces páginas importantes pueden ser bloqueadas accidentalmente. Esto puede afectar negativamente la visibilidad de su sitio web en los resultados de la búsqueda.
Pasos para solucionar el problema
Identificar las URL afectadas:
- Utilice el informe de Google Search Console «Index Coverage» para encontrar páginas con el error «Blocked by robots.txt».
- Inspeccione las URL afectadas para determinar si deben ser accesibles a Googlebot.
Accede y edita tus robots.txt Archivo:
- Utilice un cliente FTP o el sistema de gestión de contenidos de su sitio web (CMS) para acceder al archivo.
- Haga una copia de seguridad del archivo antes de hacer cualquier cambio.
Analizar los robots.txt Archivo:
- Compruebe las directivas que podrían estar bloqueando Googlebot para acceder a las URL afectadas.
- Los culpables comunes incluyen directivas demasiado amplias «Desactivar» o sintaxis incorrecta.
Hacer cambios necesarios:
- Si desea que Googlebot acceda a las URLs, elimine o modifique las directivas pertinentes «Desactivar».
- Por ejemplo, si la directiva es Disallow: /products/puedes cambiarlo Disallow: /products/sale/ para permitir el acceso a otras páginas de productos.
- Garantizar la sintaxis adecuada y evitar usar caracteres comodín.
Prueba tus cambios:
- Usar un robots.txt herramienta de prueba para verificar que los cambios tienen el efecto deseado.
- Compruebe si Googlebot ahora puede acceder a las URL bloqueadas previamente.
Presentar el archivo Updated robots.txt:
- Guarde el archivo robots.txt modificado a la raíz de su sitio web.
- Permitir un tiempo para Googlebot para cambiar su sitio web y actualizar su índice.
Consejos adicionales
- Sea específico: Use directivas precisas para controlar el acceso a páginas o directorios específicos.
- Evite la descomposición: Bloquear demasiadas páginas puede afectar negativamente la visibilidad de su sitio web.
- Use Directivas «Permiten»: Si desea permitir explícitamente el acceso a ciertas páginas, utilice las directivas «Permitir».
- Consider Usando «Sitemap.xml»: Enviar un mapa de sitio a Google Search Console para ayudar a priorizar páginas importantes.
- Monitor for Changes: Revisa regularmente tu archivo robots.txt y Google Search Console para asegurar que esté funcionando como se desee.
Ejemplo robots.txt:
- Usuarios: Googlebot
- Disallow: /admin/
- Aceptar: /checkout/
- Permitir: /images/
Este ejemplo permite a Googlebot acceder a todas las páginas excepto las de los directorios «/admin/» y «/checkout/». También permite explícitamente el acceso a imágenes.
Recuerda: Revise cuidadosamente la estructura y las metas de su sitio web antes de hacer cambios en su archivo robots.txt. Las modificaciones incorrectas pueden tener consecuencias no deseadas.
Al seguir estos pasos, puede solucionar eficazmente el problema «Blocked by robots.txt» y mejorar la visibilidad de su sitio web en los resultados de la búsqueda.
