Regresar a la página www.ComoCrearTuWeb.com
Página 1 de 2 12 ÚltimoÚltimo
Resultados 1 al 15 de 30

Tema: Que es eso del robots.txt

  1. #1
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23

    Que es eso del robots.txt

    ROBOTS TXT

    No es el de la guerra de las galaxias, ese era C3PO.

    ¿Que es?

    Imaginate que internet es un campo de cultivo y todas las webs son lechugas.
    Los buscadores(google, Lycos, yahoo, msn etc) son los recolectores que tienen herramientas (programas robots) y de vez en cuando se dan una vueltecita por el huerto y recolectan....¿Que recolectan? las lechugas (los ficheros robots .txt) .que tu previamente has instalado en tu web

    Esta breve introduccion es para los de mi pueblo, para vosotros que estais mas espabilaos (en temas de cultivo a lo mejor no) os dire que de la informacion que he ido recopilando he sacado en conclusion lo siguiente:

    Son archivos de texto con la extension .txt.
    Los buscadores se sirven de programas robots que le permiten leer, recuperar y guardar el contenido de una pagina. Estos robots estan continuamente rastreando webs y saltando de enlace en enlace. Su labor es muy util pero tambien puede perjudicarnos al indexar algunas paginas de contenido temporal o que no deseamos que indexen.

    Podemos dar instrucciones a estos robots para que hagan una cosa u otra utilizando este tipo de archivos que incluiremos en el directorio raiz de nuestra web.

    ¿Como?

    Mediante el archivo que vamos a crear "robots.txt".

    Cuando un robot llega a tu pagina, lo primero que hace es dirigirse al archivo http://www.tudominio/robots.txt. y comprobar si existe algun tipo de restriccion o no.

    Si no tienes este archivo creado, entiende que puede indexar todo el contenido de tu web y asi lo hace.

    ¿Como se crea y que reglas utiliza?

    Abres el bloc de notas y escribes en el documento lo que te indico en los siguientes casos, despues los guardas como robots.txt

    Varios casos que se pueden dar:

    - Primero un caso en el que se prohiben a todos los buscadores indexar tu pagina y su contenido:

    (esto es lo que va dentro del archivo de texto que debes crear)

    User-agent: *.....(aqui se indica el robot al que se hace referencia)(el * incluye a todos los buscadores)

    Disallow: /....... (aqui el directorio o subdirectorio que quieres bloquear)(la / indica que se refiere a todo el directorio de la pagina)

    - Segundo caso, en el que prohibimos que google indexe nuestro sitio pero el resto de buscadores no:

    (esto es lo que va dentro del archivo de texto que debes crear)
    User-agent: Googlebot
    Disallow : /

    - Tercer caso, se prohibe el acceso al robot de google y se permite a todos los demas el acceso excepto al directorio señalado

    (esto es lo que va dentro del archivo de texto que debes crear)
    User-agent: Googlebot
    Disallow : /
    User-agent: *
    Disallow: /mipaginawuay/ejercicios.html

    - Cuarto caso, todos los robots tienen prohibido el acceso a los directorios reseñados:

    (esto es lo que va dentro del archivo de texto que debes crear)
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /borrador/

    Quinto caso, no existe ninguna restricción, asi que todos los robots indexaran tu sitio:

    (esto es lo que va dentro del archivo de texto que debes crear)
    User-agent: *
    Disallow :

    (este es el caso que normalmente se va a utizar)


    ¿Puedo ponerle la extension que quiera?

    NO.Su extension debe de ser robots.txt y asi debes de guardarlo

    ¿Cuantos archivos robots se pueden poner?

    Solo uno por sitio.

    ¿Porque es importante y en que te va a ayudar?

    Porque facilita la busqueda a los buscadores, lo recomiendan y ademas sirve para mejorar posicionamiento.

    Esto lo he comprobado en una de mis web que por poner un sitemap, un archivo robots.txt y modificar algunas etiquetas como el titulo repetido en varias paginas, me subio de una puntuacion 4 a 7.(esta puntuacion la podeis obtener introduciendo vuestro dominio en la siguiente pagina: http://www.cuwhois.com/index.php )

    Ademas otra ventaja es indicar a los buscadores que paginas no deseas que indexen y que por consiguiente no salgan en los resultados de las busquedas que se realizan.

    ¿En que parte de la web se incrustan?

    Pues en el directorio raiz principal de la web, no sirve de nada instalarlos en subdirectorios. Si se tiene que referir a una pagina de un subdirectorio, pues se pone la ruta del mismo ycon eso basta.

    Debes subirlo al servidor igual que subes los demas archivos.


    ¿Existen otros metodos?

    Si. Usando las etiquetas metas que conocemos

    <META name="ROBOTS" content="NOINDEX">
    Con las siguientes posibilidades: ALL, INDEX, NOFOLLOW, NOINDEX

    (Estas etiquetas debes ponerlas en todas tus paginas).

    ¿Te tocara la loteria en Navidad?

    Pues eso ya no lo se, ojala nos toque a todos, por lo menos en salud.

    Consejos:
    No abusar de las restricciones, cuantas mas paginas de indexen mejor
    Recordar respetar mayusculas, minusculas
    Utilizar el bloc de notas para generarlo



    Sigo con la mia de estar abierto a cualquier tipo de sugerencia o modificacion de la informacion que facilito porque no soy ningun experto y seguro que en algo me equivoco (esto seguro que lo lee Foley que sabe mas que yo de posicionamiento).

    ---.Saludos.---

  2. #2
    Me va gustando esto... Habitante
    Fecha de Ingreso
    27 nov, 08
    Ubicación
    Rosario, Argentina
    Mensajes
    232
    Poder de Reputación
    15
    Vaya, exelente tutorial, lo entendi perfectamente a pesar de que es algo que nunca vi ni lo utilice. Ahora ya se un poco mas sobre los bot, muchas gracias por este aporte :D
    Me resulto muy util. Saludos.

  3. #3
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23
    Cita Iniciado por KenLego
    Vaya, exelente tutorial, lo entendi perfectamente a pesar de que es algo que nunca vi ni lo utilice. Ahora ya se un poco mas sobre los bot, muchas gracias por este aporte :D
    Me resulto muy util. Saludos.
    Si ayuda y amplia conocimientos, me doy por satisfecho y me pongo con otro tutorial para generar una pagina que sustituya la 404 de error y evitar penalizaciones de los buscadores. Ya sufri un penalizacion en una subpagina y duele.

    ---.Saludos.---

  4. #4
    Esto empieza a ser un vicio... Habitante Avatar de *Blaizer*
    Fecha de Ingreso
    05 sep, 07
    Ubicación
    Costa Rica
    Mensajes
    2,584
    Poder de Reputación
    27
    Muy buen aporte kimapa !

  5. #5
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23
    En uno de los apartados de este post de solidaria, se pueden generar robots txt de forma automatica, solo tienes que pulsar las opciones deseadas y el programa te crea el archivo.-

    http://www.comocreartuweb.com/phpBB2/ftopic2713.html

    ---.Saludos.---

  6. #6
    Esto empieza a ser un vicio... Habitante Avatar de manmanu
    Fecha de Ingreso
    28 ene, 07
    Mensajes
    1,050
    Poder de Reputación
    21
    Hola kike,
    hola a tod@s.


    Kike,inportante ésta información. Comentas, si no existe robots.txt google entenderá que no hay restricciónes, é indexará todo el contenido.
    Que cambia, si tienes, y con
    User-Agent: *
    Allow: /

    , o no lo tienes???
    En los dos casos indexará todo el contenido, no..???
    Aconsejas generar un archivo robots.txt, si ya dispongo de (un ejemlo) <meta name="robots" content="index,follow" />.???

    Cita Iniciado por kimapa
    Consejos:
    No abusar de las restricciones, cuantas mas paginas de indexen mejor
    Recordar respetar mayusculas, minusculas
    Utilizar el bloc de notas para generarlo
    <meta name="keywords" content=""> aquí colocaremos palabras clave.
    Hay algo que me llama la atención, en algunos sitios las palabras clave las comienzan con la mayúscula, y en otros no, ejemplo;

    <meta name="keywords" content="Información, Actualidad, Noticias">
    Otros sitios;
    <meta name="keywords" content="información, áctualidad, noticias">

    Que opinais de éste ejemplo, tiene alguna importancia???
    Es a esto a lo que haces referencia Kike????

    Bueno, son mis unas de mis dudas.


    saludos manmanu

  7. #7
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23
    Hola Manu:

    Mi opinion (muy discutible).

    Tando el archivo de robots txt como el sitemap xml, lo que hacen es facilitar el acceso de los robots a tu web, vamos darle el trabajo mascado y rapido.

    Imaginate que tu eres un buscador de nueva creacion que se llama goomanu y que una de las web que vas a ojear es un centro comercial y cada subpagina una tienda distinta.

    Bien, pues goomanu, llega a la puerta de la web (centro comercial) y en vez de tener que ir pagina por pagina (tiendas) lo que se va a encontrar va a ser un directorio que le va a decir la disponibilidad de cada pagina (tienda), si esta cerrada o abierta de un solo vistazo, con lo cual ira al grano directamente, a las paginas y tipos de archivo que va a poder indexar.

    Bueno, volviendo a la realidad, estos archivos de todas maneras no ordenan, solo recomiendan, los robots haran lo que quieran de todas maneras. Lo cierto es que son practicas muy recomendas y poco usadas.

    Con los metas vas indicando pagina por pagina lo que puede hacer el buscador, con el robots indicas directamente que paginas o archivos estan restringidos de golpe.


    Cambiando de tema, en cuanto a la inclusion de letras mayusculas en las keys, no creo que tenga mayor importancia. Ademas ten en cuenta que debido al mal uso que se les dio en su dia por parte de los webmaster, estas etiquetas quedaron casi obsoletas o casi ignoradas al menos por google. En los tiempos actuales se les da mas importancia a la etiqueta <title> <h1> (para titulos) y <h2> (para subtitulos).

    Lo de respetar mayuscula y minusculas me referia a la hora de escribir estas instrucciones:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /borrador/

    Un secreto: yo utilizo metas y robots a la vez para los buscadores y hasta ahora no me dieron conflicto.

    Como siempre, estoy abierto a todo tipo de correccion.


    ---.Saludos.---

  8. #8
    Me va gustando esto... Habitante
    Fecha de Ingreso
    24 ene, 09
    Mensajes
    38
    Poder de Reputación
    13
    gracias el tutorial muy util
    una duda fui a unas de las paginas yenre mi robot pero luego me dic en una pagianque tengo pa er como esta mi web que no tiene robot se u se tiene que hacer un archivo txt perocomo sy muy novata es pagi que debe star talmente vacia solo conel robot o debe tener las etiquetas <head head> y demas
    y ota cota en las etiquetas meta ue signifca ALL e INDEX

  9. #9
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23
    Cita Iniciado por sugarchic
    gracias el tutorial muy util
    una duda fui a unas de las paginas yenre mi robot pero luego me dic en una pagianque tengo pa er como esta mi web que no tiene robot se u se tiene que hacer un archivo txt perocomo sy muy novata es pagi que debe star talmente vacia solo conel robot o debe tener las etiquetas <head head> y demas
    y ota cota en las etiquetas meta ue signifca ALL e INDEX
    El archivo robots.txt lo tienes que hacer tu a menos que sea un blog.

    El archivo es individual y tienes que subirlo a la raiz del sitio. No es una pagina html.

    Lo que se coloca entre el <head> y </head> son las meta que en el caso que preguntas sobre ALL y INDEX son instrucciones para el robot:

    <META name="robots" content="aqui pondríamos la instrucción para el robots que puede ser INDEX,NOINDEX,ALL,FOLLOW,NOFOLLOW,ODP, NOODP,YDIR,NOYDIR,SNIPPET,NOSNIPPET,ARCHIVE,NOARCH IVE ">

    ---.Saludos.---

  10. #10
    Me va gustando esto... Habitante
    Fecha de Ingreso
    24 ene, 09
    Mensajes
    38
    Poder de Reputación
    13
    gracias por la aclaracion :)

  11. #11
    Me va gustando esto... Habitante
    Fecha de Ingreso
    22 feb, 08
    Ubicación
    Depende
    Mensajes
    63
    Poder de Reputación
    15
    Yo tenía ese archivo, pero en singular (robot.txt) y vacío.

    Muy agradecido.
    Diversos trucos útiles para navegación y merodeo costeros en kayak y en velero: http://www.porlacosta@ergosum.es

  12. #12
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23
    Cita Iniciado por Astonmartin
    Yo tenía ese archivo, pero en singular (robot.txt) y vacío.

    Muy agradecido.
    Hola amigo:
    Me alegro que te haya servido para rectificar el pequeño error que tenias, por otra parte muy común.

    ---.Saludos.---

  13. #13
    Me va gustando esto... Habitante
    Fecha de Ingreso
    14 jul, 09
    Mensajes
    42
    Poder de Reputación
    13
    Muy buena informacion xD
    Mi foro, softlord

  14. #14
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    02 dic, 07
    Ubicación
    Valencia (España)
    Mensajes
    1,720
    Poder de Reputación
    23
    Cita Iniciado por gabicristi
    Muy buena informacion xD
    Gracias.-

  15. #15
    Esto empieza a ser un vicio... Habitante
    Fecha de Ingreso
    22 sep, 07
    Ubicación
    Donosti - San Sebastian
    Mensajes
    498
    Poder de Reputación
    17
    Me ha parecido una iformacion muy bien explicada y facil de entender, ademas de util.

    Yo tengo una pregunta, nunca hehecho un archivo de sitemap ni robot.txt. al archivo sitemap no se ni como se hace, ya que mis webs son de las que voy aumentado las paginas y nunca termino de hacer el site map. mirare por ahi como hacer uno.

    el robot.txt... no lo hehecho por que no se me ocurre ninguna razon por la que no querria que me indexaran.

    Podrias darme razones por las que no interesa que nos indexen? gracias.


    PD: eres scout? yo tb jeje

Temas Similares

  1. Robots
    Por goranges en el foro Posicionamiento de páginas web
    Respuestas: 1
    Último Mensaje: 29/07/2009, 07:08
  2. Robots
    Por JordyFV en el foro Foros
    Respuestas: 3
    Último Mensaje: 24/04/2008, 09:29

Permisos de Publicación

  • No puedes crear nuevos temas
  • No puedes responder temas
  • No puedes subir archivos adjuntos
  • No puedes editar tus mensajes
  •