{"id":3675,"date":"2024-10-22T15:24:11","date_gmt":"2024-10-22T07:24:11","guid":{"rendered":"https:\/\/www.openbyt.com\/?p=3675"},"modified":"2024-10-22T15:24:12","modified_gmt":"2024-10-22T07:24:12","slug":"how-to-write-and-submit-a-robots-txt-file","status":"publish","type":"post","link":"https:\/\/www.openbyt.com\/pt\/como-escrever-e-enviar-um-ficheiro-robots-txt","title":{"rendered":"Como escrever e enviar um ficheiro robots.txt"},"content":{"rendered":"

Controlar o que os motores de busca podem e n\u00e3o podem rastrear \u00e9 uma parte essencial da gest\u00e3o da sua presen\u00e7a online. Uma das formas mais eficazes de o fazer \u00e9 utilizar um ficheiro robots.txt. Este ficheiro de texto simples indica aos motores de busca as partes do seu s\u00edtio Web a que podem aceder e as que n\u00e3o podem, ajudando-o a orientar o tr\u00e1fego, a proteger conte\u00fados sens\u00edveis e a melhorar a SEO do seu s\u00edtio.
Neste blogue, abordaremos a import\u00e2ncia de um ficheiro robots.txt, como criar um e como personaliz\u00e1-lo de acordo com as suas necessidades. Quer seja um principiante ou algu\u00e9m com experi\u00eancia na gest\u00e3o de Web sites, este guia ir\u00e1 ajud\u00e1-lo a garantir que o seu site \u00e9 rastreado eficazmente pelos motores de busca.<\/p>

\"\"<\/figure>

O que \u00e9 um ficheiro Robots.txt?<\/h2>

A ficheiro robots.txt<\/strong> \u00e9 um simples ficheiro de texto colocado no diret\u00f3rio raiz do seu s\u00edtio Web. O seu objetivo \u00e9 instruir os rastreadores da Web (como o Googlebot do Google) sobre as partes do seu s\u00edtio que podem visitar e indexar. Seguindo o ficheiro Norma de exclus\u00e3o de rob\u00f4s<\/strong>Este ficheiro ajuda-o a controlar o acesso a diret\u00f3rios ou p\u00e1ginas espec\u00edficos, assegurando simultaneamente que o conte\u00fado crucial permanece dispon\u00edvel para os motores de busca para indexa\u00e7\u00e3o.<\/p>

\"\"<\/figure>

Por exemplo, se o seu s\u00edtio Web for www.example.com<\/strong>o seu ficheiro robots.txt deve estar localizado em www.example.com\/robots.txt<\/strong>.<\/p>

Como funciona um ficheiro Robots.txt?<\/h2>

Um ficheiro robots.txt \u00e9 composto por uma s\u00e9rie de regras, sendo que cada regra especifica se um determinado rastreador da Web (denominado \"agente do utilizador\") pode aceder a partes espec\u00edficas do seu s\u00edtio Web. As regras incluem comandos como N\u00e3o autorizar<\/strong>, Permitir<\/strong>e Mapa do s\u00edtio<\/strong>que pode restringir ou permitir o acesso a v\u00e1rios URLs.<\/p>

\"\"<\/figure>

Vejamos um exemplo simples de um ficheiro robots.txt:<\/p>

Agente do utilizador: Googlebot\nN\u00e3o permitir: \/nogooglebot\/\n\nAgente do utilizador: *\nPermitir: \/\n\nMapa do site: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>
Explica\u00e7\u00e3o do ficheiro:<\/strong><\/p>
  • Googlebot<\/strong> (o rastreador do Google) n\u00e3o pode rastrear qualquer URL que comece com https:\/\/www.example.com\/nogooglebot\/<\/strong>.<\/li>\n\n
  • Todos os outros agentes de utilizador (marcados com *<\/strong>que significa \"todos os rastreadores\") pode rastrear todo o s\u00edtio.<\/li>\n\n
  • O mapa do s\u00edtio est\u00e1 localizado em https:\/\/www.example.com\/sitemap.xml<\/strong>.<\/li><\/ul>
    Se n\u00e3o existir um ficheiro robots.txt, todos os crawlers podem aceder a todo o s\u00edtio Web por predefini\u00e7\u00e3o. O ficheiro robots.txt refina essas permiss\u00f5es.<\/p>
    Porque precisa de um ficheiro Robots.txt<\/h2>
    \"\"<\/figure>
    A utiliza\u00e7\u00e3o de um ficheiro robots.txt oferece v\u00e1rias vantagens:<\/p>
    • Controlar o rastejamento<\/strong>: Permite-lhe gerir as partes do seu site que s\u00e3o rastreadas pelos motores de busca, reduzindo a carga no seu servidor e evitando que conte\u00fados sens\u00edveis sejam indexados.<\/li>\n\n
    • Melhore a SEO<\/strong>: Pode concentrar os rastreadores dos motores de busca nas p\u00e1ginas mais importantes do seu s\u00edtio Web, assegurando que indexam o conte\u00fado correto para melhorar as suas classifica\u00e7\u00f5es de pesquisa.<\/li>\n\n
    • Proteja conte\u00fados sens\u00edveis<\/strong>: Embora um ficheiro robots.txt n\u00e3o possa impedir o acesso a dados sens\u00edveis, pode ajudar a ocultar p\u00e1ginas privadas dos rastreadores dos motores de busca, tais como p\u00e1ginas de in\u00edcio de sess\u00e3o ou sec\u00e7\u00f5es de administra\u00e7\u00e3o.<\/li><\/ul>
      Como criar um ficheiro Robots.txt<\/h2>
      Criar um ficheiro robots.txt \u00e9 f\u00e1cil e pode faz\u00ea-lo utilizando qualquer editor de texto simples, como o Bloco de notas<\/strong>, Editar texto<\/strong>, vi<\/strong>, ou Emacs<\/strong>. Evite utilizar processadores de texto como o Microsoft Word, uma vez que podem introduzir formata\u00e7\u00e3o que pode interferir com o funcionamento correto do ficheiro.<\/p>
      1. Crie o ficheiro<\/strong><\/h3>
      Abra o seu editor de texto e guarde um ficheiro com o nome robots.txt<\/strong>. Certifique-se de que est\u00e1 codificado em UTF-8<\/strong> formato.<\/p>
      2. Adicionar regras<\/strong><\/h3>
      Comece a adicionar regras, especificando a que agentes de utilizador as regras se aplicam e que partes do seu site podem (ou n\u00e3o podem) ser rastreadas.
      Eis um exemplo de como bloquear o acesso de todos os Web crawlers a um diret\u00f3rio espec\u00edfico:<\/p>
      Agente do utilizador: *\nN\u00e3o permitir: \/private-diretory\/<\/code><\/pre>
      3. Carregue o ficheiro<\/strong><\/h3>
      Carregue o robots.txt<\/strong> para o diret\u00f3rio raiz do seu site. Por exemplo, se o seu s\u00edtio for www.example.com<\/strong>, o ficheiro deve estar em www.example.com\/robots.txt<\/strong>. Se n\u00e3o tiver a certeza de como aceder ao diret\u00f3rio raiz, contacte o seu fornecedor de alojamento.<\/p>
      4. Teste o ficheiro<\/strong><\/h3>
      Depois de carregar o ficheiro, pode test\u00e1-lo abrindo um browser em modo privado e navegando para https:\/\/www.example.com\/robots.txt<\/strong>. Se conseguir ver o ficheiro, isso significa que o ficheiro foi carregado com \u00eaxito.<\/p>
      Regras comuns do Robots.txt<\/h2>
      Eis algumas regras comuns utilizadas nos ficheiros robots.txt:<\/p>
      1. Bloqueie todos os rastreadores de todo o site<\/strong><\/h3>
      \"\"<\/figure>
      Agente do utilizador: *\nN\u00e3o permitir: \/<\/code><\/pre>
      Esta regra impede todos os rastreadores de acederem a todo o Web site. Tenha cuidado com esta regra, uma vez que impede os motores de busca de indexar o seu conte\u00fado.<\/p>
      2. Permita que todos os rastreadores tenham acesso a todo o site<\/strong><\/h3>
      \"\"<\/figure>
      Agente do utilizador: *\nPermitir: \/<\/code><\/pre>
      Esta regra permite que todos os rastreadores da Web acedam a todo o seu s\u00edtio Web. \u00c9 o comportamento padr\u00e3o se n\u00e3o especificar nenhuma regra no seu ficheiro robots.txt.<\/p>
      3. Bloquear um diret\u00f3rio espec\u00edfico<\/strong><\/h3>
      Agente do utilizador: *\nN\u00e3o permitir: \/private-diretory\/<\/code><\/pre>
      Esta regra impede todos os rastreadores de acederem ao \/directorio-privado\/<\/strong>. Lembre-se que a barra final indica que tudo o que se encontra dentro do diret\u00f3rio tamb\u00e9m n\u00e3o \u00e9 permitido.<\/p>
      4. Permitir um diret\u00f3rio espec\u00edfico, bloquear o resto<\/strong><\/h3>
      Agente do utilizador: *\nN\u00e3o permitir: \/\nPermitir: \/public\/<\/code><\/pre>
      Esta regra bloqueia o acesso a todo o site, exceto ao \/public\/<\/strong> diret\u00f3rio. Isto \u00e9 \u00fatil quando pretende manter a maior parte do seu s\u00edtio privado, mas permite que p\u00e1ginas p\u00fablicas espec\u00edficas sejam indexadas.<\/p>
      5. Bloquear uma p\u00e1gina espec\u00edfica<\/strong><\/h3>
      Agente do utilizador: *\nN\u00e3o permitir: \/useless_page.html<\/code><\/pre>
      Esta regra impede todos os rastreadores de acederem a uma p\u00e1gina espec\u00edfica do seu site.<\/p>
      6. Especifique um mapa do site<\/strong><\/h3>
      Mapa do s\u00edtio: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>
      Incluir um mapa do site no seu ficheiro robots.txt ajuda os motores de busca a localizar e rastrear rapidamente todas as p\u00e1ginas essenciais do seu site.<\/p>
      Melhores pr\u00e1ticas para ficheiros Robots.txt<\/h2>
      Ao criar o seu ficheiro robots.txt, tenha em mente as seguintes pr\u00e1ticas recomendadas:<\/p>
      • Seja espec\u00edfico<\/strong>: Bloqueie apenas p\u00e1ginas ou diret\u00f3rios que n\u00e3o quer que os motores de busca rastreiem.<\/li>\n\n
      • Utilize o caso correto<\/strong>: As regras s\u00e3o sens\u00edveis a mai\u00fasculas e min\u00fasculas, pelo que N\u00e3o permita: \/Private\/<\/strong> e N\u00e3o permita: \/private\/<\/strong> ir\u00e1 bloquear diferentes diret\u00f3rios.<\/li>\n\n
      • N\u00e3o utilize Robots.txt para dados sens\u00edveis<\/strong>: Um ficheiro robots.txt \u00e9 p\u00fablico e pode ser acedido por qualquer pessoa. Se tiver conte\u00fados sens\u00edveis, como p\u00e1ginas de in\u00edcio de sess\u00e3o ou \u00e1reas de administra\u00e7\u00e3o, utilize m\u00e9todos de autentica\u00e7\u00e3o adequados para os proteger em vez de confiar em robots.txt.<\/li>\n\n
      • Actualize regularmente<\/strong>: Certifique-se de que o seu ficheiro robots.txt se mant\u00e9m atualizado com as altera\u00e7\u00f5es \u00e0 estrutura do seu s\u00edtio Web.<\/li><\/ul>
        Como testar e enviar o seu ficheiro Robots.txt<\/h2>
        \"\"<\/figure>
        Depois de carregar o seu ficheiro robots.txt, pode testar a sua validade utilizando Testador de robots.txt da Consola de Pesquisa do Google<\/strong>. Esta ferramenta ajuda a garantir que o seu ficheiro est\u00e1 devidamente formatado e que o Google o pode interpretar corretamente.<\/p>
        Para enviar o seu ficheiro robots.txt ao Google:<\/p>
        • Aceda \u00e0 Consola de Pesquisa do Google.<\/li>\n\n
        • Utilize o Testador de Robots.txt<\/strong> para validar o seu ficheiro.<\/li>\n\n
        • Uma vez validado, o Google encontrar\u00e1 e utilizar\u00e1 automaticamente o seu ficheiro robots.txt.<\/li><\/ul>
          \"\"<\/figure>
          Conclus\u00e3o<\/h2>
          Um ficheiro robots.txt bem estruturado \u00e9 uma ferramenta poderosa para gerir a forma como os motores de busca interagem com o seu site. Ao compreender como criar e configurar o ficheiro, pode garantir que o seu site \u00e9 optimizado para rastreio, mantendo o conte\u00fado sens\u00edvel ou desnecess\u00e1rio escondido dos rastreadores dos motores de busca.
          Quer esteja a gerir um blogue pessoal ou um grande site empresarial, um ficheiro robots.txt corretamente implementado pode melhorar a sua SEO, proteger conte\u00fados sens\u00edveis e garantir que o seu site funciona sem problemas. Reveja e actualize regularmente o ficheiro para o alinhar com o crescimento e as altera\u00e7\u00f5es do seu site.<\/p>","protected":false},"excerpt":{"rendered":"
          Controlar o que os motores de busca podem e n\u00e3o podem rastrear \u00e9 uma parte essencial da gest\u00e3o da sua presen\u00e7a online. Uma das formas mais eficazes de o fazer...<\/p>","protected":false},"author":11,"featured_media":3431,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[60,87],"tags":[326,328,327],"class_list":["post-3675","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo_tips","category-sitemap-and-robots-txt","tag-robotstxt","tag-seotips","tag-websitecrawling",""],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/posts\/3675","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/comments?post=3675"}],"version-history":[{"count":24,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/posts\/3675\/revisions"}],"predecessor-version":[{"id":3722,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/posts\/3675\/revisions\/3722"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/media\/3431"}],"wp:attachment":[{"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/media?parent=3675"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/categories?post=3675"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.openbyt.com\/pt\/wp-json\/wp\/v2\/tags?post=3675"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}