Al terminar un curso de Community Management en el que anduvimos cacharreando con wordpress, un alumna se puso en contacto conmigo al comprobar que Google estaba teniendo problemas para indexar correctamente su web. El propio mensaje del snippet del resultado de buscar el dominio de la web indica la raíz del problema:
Una visita al fichero en cuestión mediante la url: http://dominioencuestion.com/robots.txt nos muestra el contenido del fichero:
User-agent: *
Disallow: /
La primera linea especifica que las siguientes instrucciones afectarán a todos los bots que entren a indexar la web mediante el asterisco (*=TODOS)
La segunda linea indica que NO se indexe (Disallow) a partir de la raíz (/), es decir, todo el contenido del sitio web
Para que el fichero permita que se indexe todo el contenido, lo correcto debería ser;
User-agent: *
Disallow:
En el siguiente artículo de la wikipedia tenéis algunos ejemplos de robots.txt interesantes donde podréis limitar el acceso solo a determinados bots o solo a determinados documentos de tu sitio web.
Para modificar el fichero lo más adecuado es descargarlo mediante tu gestor ftp, editarlo con un editor de texto sencillo en local, guardarlo y sobreescribirlo de nuevo en el servidor mediante tu cliente ftp. Hay clientes ftp que permiten editarlo directamente desde el servidor, tu mismo.
Deja una respuesta