Que es Robot.txt

**hombreolo** · 20/07/2010, 15:57

buenas a todos

He mirado mis estadisticas y en errores me aparece que se ha buscado robot.txt y yo no lo tengo me hace falta para que los buscadores lo lean?

Tambien me salen mas errores de archivos que no encuentras los que se meten, pero son archivos que ya no estan pero cuando puse la web al principio si los puse en la web pero no los subi, pueden ser errores antiguos?

Muchas gracias

**Foley** · 20/07/2010, 19:18

Hola

Respuesta a la pregunta de tu título: http://www.google.com/support/webmas...&answer=156449

En cuanto a las otras dos:

El robots.txt no es indispensable pero sí recomendable, siempre hay algo que interesa que google no indexe, como por ejemplo la página de contacto, acerca de,...

Si te salen errores de esos y ha pasado ya bastante tiempo y siguen ahí, entonces comprueba que no hay ningún enlace por tu web que apunte a ellos porque seguramente google lo estea encontrando, intenta acceder al archivo y no lo encuentra; por eso te sale el error.

Saludos ;)

**hombreolo** · 20/07/2010, 22:09

muchas gracias

Le puse que no vean la carpeta de imagenes, eso esta bien? o me dara errores a lo poder ver la imagen que hay en la web?

y ahora le pondre que no vean lo del contacto siguiendo tu consejo.

Me puede poner un ejemplo de un robot-txt que funcione bien

gracias

**Foley** · 20/07/2010, 23:27

Lo de la carpet aimágenes no lo hagas. El robot de google las indexa y luego puedes recibir alguna visita desde google imágenes.

Lo mejor es que en las herramientas para webmasters de google uses el generador de robots.txt para configurar lo que no quieres que indexe, luego te descargas el fichero y lo metes en tu web.

Saludos ;)