Estos últimos días muchos webmasters han estado recibiendo menajes de Google Search Console en el que les advertían que el robot de Google no podía acceder a determinados recursos de su página web, lo que podía provocar una mala indexación por parte de Google.
«El robot de Google no puede acceder a los archivos CSS y JS de http://paginaweb.com
Los sistemas de Google han detectado un problema con tu página principal que afecta a la forma cómo nuestros algoritmos renderizan e indexan tu contenido. En concreto, el robot de Google no puede acceder a tus archivos JavaScript o CSS debido a restricciones establecidas en el archivo robots.txt. Estos archivos permiten a Google interpretar que tu sitio web funciona correctamente, de modo que bloquear el acceso a estos elementos puede dar lugar a clasificaciones inadecuadas».
En muchos casos se trataba de blogs con WordPress como CMS.
Cómo desbloquear todos los archivos CSS y Javascript para Googlebot usando robots.txt
¿Qué podemos hacer para solucionarlo? Sólo tenemos que modificar nuestro archivo robots.txt que se debería encontrar en el directorio raíz de la página web y añadir las siguientes líneas:
User-Agent: Googlebot
Allow: .js
Allow: .css
Con las que vamos a dar un acceso completo al robot de Google a nuestros archivos con extensión .js y .css, completamente necesarios para que Google «comprenda» mejor nuestra web, sobre todo en el caso de plantillas adaptadas para smartphones y tablets.
¿Y si tengo algún directorio «capado» a Googlebot? Pues entonces hay que modificar un poco la regla.
Por ejemplo, si tenemos algo así:
User-Agent: Googlebot
Disallow: /directorio/
Allow: .js
Allow: .css
Tendríamos que poner lo siguiente para permitir el acceso a Googlebot:
User-Agent: Googlebot
Disallow: /directorio/
Allow: /directorio/*.js
Allow: /directorio/*.css
