{"id":3675,"date":"2024-10-22T15:24:11","date_gmt":"2024-10-22T07:24:11","guid":{"rendered":"https:\/\/www.openbyt.com\/?p=3675"},"modified":"2024-10-22T15:24:12","modified_gmt":"2024-10-22T07:24:12","slug":"how-to-write-and-submit-a-robots-txt-file","status":"publish","type":"post","link":"https:\/\/www.openbyt.com\/es\/como-escribir-y-enviar-un-archivo-robots-txt","title":{"rendered":"C\u00f3mo escribir y enviar un archivo robots.txt"},"content":{"rendered":"

Controlar lo que los motores de b\u00fasqueda pueden y no pueden rastrear es una parte esencial de la gesti\u00f3n de su presencia en l\u00ednea. Una de las formas m\u00e1s eficaces de hacerlo es utilizando un archivo robots.txt. Este archivo de texto sin formato indica a los motores de b\u00fasqueda a qu\u00e9 partes de su sitio web pueden acceder y a cu\u00e1les no, ayud\u00e1ndole a guiar el tr\u00e1fico, proteger el contenido sensible y mejorar el SEO de su sitio.
En este blog, nos sumergiremos en la importancia de un archivo robots.txt, c\u00f3mo crear uno y c\u00f3mo personalizarlo para adaptarlo a sus necesidades. Tanto si es un principiante como alguien con experiencia en la gesti\u00f3n de sitios web, esta gu\u00eda le ayudar\u00e1 a garantizar que su sitio sea rastreado eficazmente por los motores de b\u00fasqueda.<\/p>

\"\"<\/figure>

\u00bfQu\u00e9 es un archivo Robots.txt?<\/h2>

A archivo robots.txt<\/strong> es un simple archivo de texto colocado en el directorio ra\u00edz de su sitio web. Su finalidad es indicar a los rastreadores web (como Googlebot de Google) qu\u00e9 partes de su sitio pueden visitar e indexar. Siguiendo las Norma de exclusi\u00f3n de robots<\/strong>, este archivo le ayuda a controlar el acceso a directorios o p\u00e1ginas espec\u00edficas al tiempo que garantiza que el contenido crucial siga estando disponible para los motores de b\u00fasqueda para su indexaci\u00f3n.<\/p>

\"\"<\/figure>

Por ejemplo, si su sitio web es www.example.com<\/strong>, su archivo robots.txt debe estar ubicado en www.example.com\/robots.txt<\/strong>.<\/p>

\u00bfC\u00f3mo funciona un archivo Robots.txt?<\/h2>

Un archivo robots.txt se compone de una serie de reglas, cada una de las cuales especifica si un determinado rastreador web (denominado \"agente de usuario\") puede acceder a partes concretas de su sitio web. Las reglas incluyen comandos como No permitir<\/strong>, Permita<\/strong>y Mapa del sitio<\/strong>que puede restringir o permitir el acceso a varias URL.<\/p>

\"\"<\/figure>

Veamos un ejemplo sencillo de un archivo robots.txt:<\/p>

Agente de usuario: Googlebot\nDisallow: \/nogooglebot\/\n\nUsuario-agente: *\nPermitir: \/\n\nMapa del sitio: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>
Explicaci\u00f3n del archivo:<\/strong><\/p>
  • Googlebot<\/strong> (el rastreador de Google) no puede rastrear ninguna URL que empiece por https:\/\/www.example.com\/nogooglebot\/<\/strong>.<\/li>\n\n
  • Todos los dem\u00e1s agentes de usuario (marcados con *<\/strong>que significa \"todos los rastreadores\") pueden rastrear todo el sitio.<\/li>\n\n
  • El mapa del sitio se encuentra en https:\/\/www.example.com\/sitemap.xml<\/strong>.<\/li><\/ul>
    Si no existe un archivo robots.txt, todos los rastreadores pueden acceder por defecto a todo el sitio web. El archivo robots.txt refina esos permisos.<\/p>
    Por qu\u00e9 necesita un archivo Robots.txt<\/h2>
    \"\"<\/figure>
    El uso de un archivo robots.txt ofrece varias ventajas:<\/p>
    • Controlar el rastreo<\/strong>: Le permite gestionar qu\u00e9 partes de su sitio son rastreadas por los motores de b\u00fasqueda, reduciendo la carga de su servidor y evitando que se indexen contenidos sensibles.<\/li>\n\n
    • Mejorar el SEO<\/strong>: Puede centrar los rastreadores de los motores de b\u00fasqueda en las p\u00e1ginas m\u00e1s esenciales de su sitio web, asegur\u00e1ndose de que indexen el contenido adecuado para mejorar su clasificaci\u00f3n en las b\u00fasquedas.<\/li>\n\n
    • Proteja el contenido sensible<\/strong>: Aunque un archivo robots.txt no puede impedir el acceso a datos sensibles, puede ayudar a ocultar p\u00e1ginas privadas a los rastreadores de los motores de b\u00fasqueda, como las p\u00e1ginas de inicio de sesi\u00f3n o las secciones de administraci\u00f3n.<\/li><\/ul>
      C\u00f3mo crear un archivo Robots.txt<\/h2>
      Crear un archivo robots.txt es f\u00e1cil, y puede hacerlo utilizando cualquier editor de texto plano como Bloc de notas<\/strong>, TextEdit<\/strong>, vi<\/strong>o Emacs<\/strong>. Evite utilizar procesadores de texto como Microsoft Word, ya que pueden introducir formatos que podr\u00edan interferir en el correcto funcionamiento del archivo.<\/p>
      1. Crear el archivo<\/strong><\/h3>
      Abra su editor de texto y guarde un archivo llamado robots.txt<\/strong>. Aseg\u00farese de que est\u00e1 codificado en UTF-8<\/strong> formato.<\/p>
      2. A\u00f1adir reglas<\/strong><\/h3>
      Comience a a\u00f1adir reglas especificando a qu\u00e9 agentes de usuario se aplican y qu\u00e9 partes de su sitio tienen permitido (o prohibido) rastrear.
      He aqu\u00ed un ejemplo de c\u00f3mo bloquear el acceso de todos los rastreadores web a un directorio espec\u00edfico:<\/p>
      Agente de usuario: *\nDisallow: \/directorio-privado\/<\/code><\/pre>
      3. Cargar el archivo<\/strong><\/h3>
      Cargue el robots.txt<\/strong> al directorio ra\u00edz de su sitio web. Por ejemplo, si su sitio es www.example.com<\/strong>, el archivo debe estar en www.example.com\/robots.txt<\/strong>. Si no est\u00e1 seguro de c\u00f3mo acceder al directorio ra\u00edz, p\u00f3ngase en contacto con su proveedor de alojamiento.<\/p>
      4. Probar el archivo<\/strong><\/h3>
      Despu\u00e9s de cargar el archivo, puede probarlo abriendo un navegador en modo privado y navegando a https:\/\/www.example.com\/robots.txt<\/strong>. Si puede ver el archivo, significa que se ha cargado correctamente.<\/p>
      Reglas comunes de Robots.txt<\/h2>
      Estas son algunas reglas comunes utilizadas en los archivos robots.txt:<\/p>
      1. Bloquear todos los rastreadores de todo el sitio<\/strong><\/h3>
      \"\"<\/figure>
      Agente de usuario: *\nDisallow: \/<\/code><\/pre>
      Esta regla bloquea el acceso de todos los rastreadores a todo el sitio web. Tenga cuidado con esta regla, ya que impide que los motores de b\u00fasqueda indexen su contenido.<\/p>
      2. Permitir a todos los rastreadores el acceso a todo el sitio<\/strong><\/h3>
      \"\"<\/figure>
      Agente de usuario: *\nPermitir: \/<\/code><\/pre>
      Esta regla permite a todos los rastreadores web acceder a todo su sitio web. Es el comportamiento por defecto si no especifica ninguna regla en su archivo robots.txt.<\/p>
      3. Bloquear un directorio espec\u00edfico<\/strong><\/h3>
      Agente de usuario: *\nDisallow: \/directorio-privado\/<\/code><\/pre>
      Esta regla bloquea el acceso de todos los rastreadores al \/directorio-privado\/<\/strong>. Recuerde que la barra oblicua final indica que todo lo que se encuentre dentro del directorio tambi\u00e9n est\u00e1 desautorizado.<\/p>
      4. Permitir un directorio espec\u00edfico, bloquear el resto<\/strong><\/h3>
      Agente de usuario: *\nDisallow: \/\nPermitir: \/public\/<\/code><\/pre>
      Esta regla bloquea el acceso a todo el sitio excepto al \/p\u00fablico\/<\/strong> directorio. Esto es \u00fatil cuando desea mantener la mayor parte de su sitio privado pero permitir que determinadas p\u00e1ginas p\u00fablicas sean indexadas.<\/p>
      5. Bloquear una p\u00e1gina espec\u00edfica<\/strong><\/h3>
      Agente de usuario: *\nDisallow: \/pagina_inservible.html<\/code><\/pre>
      Esta regla bloquea el acceso de todos los rastreadores a una p\u00e1gina espec\u00edfica de su sitio.<\/p>
      6. Especificar un sitemap<\/strong><\/h3>
      Mapa del sitio: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>
      Incluir un mapa del sitio en su archivo robots.txt ayuda a los motores de b\u00fasqueda a localizar y rastrear r\u00e1pidamente todas las p\u00e1ginas esenciales de su sitio.<\/p>
      Mejores pr\u00e1cticas para los archivos Robots.txt<\/h2>
      Al crear su archivo robots.txt, tenga en cuenta las siguientes pr\u00e1cticas recomendadas:<\/p>
      • Sea espec\u00edfico<\/strong>: Bloquee \u00fanicamente las p\u00e1ginas o directorios que no desee que rastreen los motores de b\u00fasqueda.<\/li>\n\n
      • Utilice el caso adecuado<\/strong>: Las reglas distinguen entre may\u00fasculas y min\u00fasculas, por lo que No permitir: \/Privado\/<\/strong> y No permitir: \/privado\/<\/strong> bloquear\u00e1 diferentes directorios.<\/li>\n\n
      • No utilice Robots.txt para datos sensibles<\/strong>: Un archivo robots.txt es p\u00fablico y cualquiera puede acceder a \u00e9l. Si tiene contenido sensible, como p\u00e1ginas de inicio de sesi\u00f3n o \u00e1reas de administraci\u00f3n, utilice m\u00e9todos de autenticaci\u00f3n adecuados para protegerlas en lugar de confiar en robots.txt.<\/li>\n\n
      • Actual\u00edcese regularmente<\/strong>: Aseg\u00farese de que su archivo robots.txt se mantiene actualizado con los cambios en la estructura de su sitio web.<\/li><\/ul>
        C\u00f3mo probar y enviar su archivo Robots.txt<\/h2>
        \"\"<\/figure>
        Despu\u00e9s de cargar su archivo robots.txt, puede comprobar su validez utilizando Comprobador de robots.txt de Google Search Console<\/strong>. Esta herramienta ayuda a garantizar que su archivo tenga el formato adecuado y que Google pueda interpretarlo correctamente.<\/p>
        Para enviar su archivo robots.txt a Google:<\/p>
        • Vaya a Google Search Console.<\/li>\n\n
        • Utilice el Comprobador de Robots.txt<\/strong> para validar su archivo.<\/li>\n\n
        • Una vez validado, Google encontrar\u00e1 y utilizar\u00e1 autom\u00e1ticamente su archivo robots.txt.<\/li><\/ul>
          \"\"<\/figure>
          Conclusi\u00f3n<\/h2>
          Un archivo robots.txt bien estructurado es una poderosa herramienta para gestionar el modo en que los motores de b\u00fasqueda interact\u00faan con su sitio. Si sabe c\u00f3mo crear y configurar el archivo, podr\u00e1 asegurarse de que su sitio est\u00e1 optimizado para el rastreo, al tiempo que mantiene oculto el contenido sensible o innecesario a los rastreadores de los motores de b\u00fasqueda.
          Tanto si gestiona un blog personal como un gran sitio web corporativo, un archivo robots.txt correctamente implementado puede mejorar su SEO, proteger el contenido sensible y garantizar que su sitio funcione sin problemas. Revise y actualice regularmente el archivo para que se ajuste al crecimiento y los cambios de su sitio.<\/p>","protected":false},"excerpt":{"rendered":"
          Controlar lo que los motores de b\u00fasqueda pueden y no pueden rastrear es una parte esencial de la gesti\u00f3n de su presencia en l\u00ednea. Una de las formas m\u00e1s efectivas de hacerlo...<\/p>","protected":false},"author":11,"featured_media":3431,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[60,87],"tags":[326,328,327],"class_list":["post-3675","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo_tips","category-sitemap-and-robots-txt","tag-robotstxt","tag-seotips","tag-websitecrawling",""],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/posts\/3675","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/comments?post=3675"}],"version-history":[{"count":24,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/posts\/3675\/revisions"}],"predecessor-version":[{"id":3722,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/posts\/3675\/revisions\/3722"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/media\/3431"}],"wp:attachment":[{"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/media?parent=3675"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/categories?post=3675"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.openbyt.com\/es\/wp-json\/wp\/v2\/tags?post=3675"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}