Que es eso del robots.txt

**kimapa** · 30/08/2009, 20:08

Iniciado por Mikel L

Me ha parecido una iformacion muy bien explicada y facil de entender, ademas de util.

Yo tengo una pregunta, nunca hehecho un archivo de sitemap ni robot.txt. al archivo sitemap no se ni como se hace, ya que mis webs son de las que voy aumentado las paginas y nunca termino de hacer el site map. mirare por ahi como hacer uno.

el robot.txt... no lo hehecho por que no se me ocurre ninguna razon por la que no querria que me indexaran.

Podrías darme razones por las que no interesa que nos indexen? gracias.

PD: eres scout? yo tb jeje

Hola:

Tanto el sitemap como el robots son archivos que facilitan el trabajo a los buscadores y puntuan mejor el tenerlo que el no tenerlos.

La idea es hacer un sitemap y subirlo a la raiz principal y si actualizas constantemente la web, modificarlo cada cierto tiempo.

No quiere decir que no vas a ser indexado pero digamos que tendran menos dificultad a la hora de hacer su trabajo.

El archivo robots si no excluye nada puedes hacer uno basico:
User-Agent: *
Allow: /

Con el dices que todos los robots tienen permitido el acceso a toda tu web

De como hacer esto tienes informacion en el foro o en la pagina de mi firma.

Pd. La flor de lis la use por su significado, digamos que siempre me he sentido un poco scout.

Saludos

**Mikel L** · 31/08/2009, 10:06

entonces, aunque no tengamos "nada que esconder" a los buscadores, es mejor ponerlo para confirmarles que todo es rastreable. oki!

Kimapa te mande un MP

**TonyCrisAm** · 04/03/2011, 21:07

Yo no he añadido ningún archivo robot a mi página y, sin embargo, google la indexa muy a menudo, yo diria que casi todos los dias, porque cambia de posición. Puede ser porque renuevo el contenido constantemente y añado contenido??

**codomodragon** · 05/03/2011, 06:55

Pues después de ver tu pagina, esa no es la razón, lo que pasa es que tu pagina esta recibiendo visitas constante mente, además que la pagina principal que es un sub dominio, recibe muchas visitas de google debido a que hay paginas grandes alojadas en ese servidor y pues así lo hace, además como tienes google maps google analiza tu web mas rápido,

Ahora con esto no me refiero a que el echo de que la actualices constante no ayude, solo que no es la única razón, recuerda que el robot de Google para posicionar paginas webs utiliza una ecuación demasiado larga y complicada, debido a que calcula muchos factores.

PD: ley en otro post tuyo que pagando te posicionan mejor, pues lamento decirte que esto es una fantasía, ninguna compañía de seó (posicionamiento) puede asegurarte las primeras posiciones en Google debido a que el robot de Google es el que decide nadie mas, asi que ellos solo pueden arreglar la pagina para optimizar el seo pero no te garantizan nada.

Además si buscas anime o manga en Google las primeras serian anime id y animextremist, estas dos por experiencia se que jama san pagado seo (anime id si pago una compañía de seo pero es fue reciente), la razón que estén de primeras, no es mas que por el contenido es extremadamente grande. Las cantidad de visitas, y el echo de que Meiji (el eb master) a configurado el seo el solo

Así que en resumen el posicionamiento prácticamente es un juego de poker, en el cual nunca sabes que va a pasar.