{"id":3675,"date":"2024-10-22T15:24:11","date_gmt":"2024-10-22T07:24:11","guid":{"rendered":"https:\/\/www.openbyt.com\/?p=3675"},"modified":"2024-10-22T15:24:12","modified_gmt":"2024-10-22T07:24:12","slug":"how-to-write-and-submit-a-robots-txt-file","status":"publish","type":"post","link":"https:\/\/www.openbyt.com\/de\/wie-man-eine-robots-txt-datei-schreibt-und-einreicht","title":{"rendered":"Wie man eine robots.txt-Datei schreibt und einreicht"},"content":{"rendered":"

Die Kontrolle dar\u00fcber, was Suchmaschinen crawlen k\u00f6nnen und was nicht, ist ein wesentlicher Bestandteil der Verwaltung Ihrer Online-Pr\u00e4senz. Eine der effektivsten M\u00f6glichkeiten, dies zu tun, ist die Verwendung einer robots.txt-Datei. Diese einfache Textdatei teilt den Suchmaschinen mit, auf welche Teile Ihrer Website sie zugreifen k\u00f6nnen und auf welche nicht. So k\u00f6nnen Sie den Datenverkehr lenken, sensible Inhalte sch\u00fctzen und die SEO Ihrer Website verbessern.
In diesem Blog erfahren Sie, wie wichtig eine robots.txt-Datei ist, wie Sie eine solche erstellen und wie Sie sie an Ihre Bed\u00fcrfnisse anpassen k\u00f6nnen. Egal, ob Sie Anf\u00e4nger oder jemand mit Erfahrung in der Verwaltung von Websites sind, dieser Leitfaden wird Ihnen helfen, sicherzustellen, dass Ihre Website von Suchmaschinen effektiv gecrawlt wird.<\/p>

\"\"<\/figure>

Was ist eine Robots.txt-Datei?<\/h2>

A robots.txt-Datei<\/strong> ist eine einfache Textdatei, die sich im Stammverzeichnis Ihrer Website befindet. Sie dient dazu, Web-Crawlern (wie dem Googlebot) mitzuteilen, welche Teile Ihrer Website sie besuchen und indizieren d\u00fcrfen. Nach der Roboter Ausschluss Standard<\/strong>Mit dieser Datei k\u00f6nnen Sie den Zugriff auf bestimmte Verzeichnisse oder Seiten kontrollieren und gleichzeitig sicherstellen, dass wichtige Inhalte f\u00fcr Suchmaschinen zur Indizierung verf\u00fcgbar bleiben.<\/p>

\"\"<\/figure>

Wenn Ihre Website zum Beispiel www.example.com<\/strong>sollte sich Ihre robots.txt-Datei in folgendem Verzeichnis befinden www.example.com\/robots.txt<\/strong>.<\/p>

Wie funktioniert eine Robots.txt-Datei?<\/h2>

Eine robots.txt-Datei besteht aus einer Reihe von Regeln, wobei jede Regel angibt, ob ein bestimmter Web-Crawler (ein so genannter \"User Agent\") auf bestimmte Teile Ihrer Website zugreifen darf. Die Regeln enthalten Befehle wie Nicht zulassen<\/strong>, Erlauben Sie<\/strong>, und Sitemap<\/strong>die den Zugriff auf verschiedene URLs entweder einschr\u00e4nken oder erlauben kann.<\/p>

\"\"<\/figure>

Schauen wir uns ein einfaches Beispiel f\u00fcr eine robots.txt-Datei an:<\/p>

Benutzer-Agent: Googlebot\nNicht zulassen: \/nogooglebot\/\n\nBenutzer-Agent: *\nZulassen: \/\n\nSitemap: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>
Erl\u00e4uterung der Datei:<\/strong><\/p>
  • Googlebot<\/strong> (der Crawler von Google) kann keine URL crawlen, die mit https:\/\/www.example.com\/nogooglebot\/<\/strong>.<\/li>\n\n
  • Alle anderen Benutzeragenten (gekennzeichnet durch *<\/strong>, was soviel bedeutet wie \"alle Crawler\") k\u00f6nnen die gesamte Website crawlen.<\/li>\n\n
  • Die Sitemap f\u00fcr diese Website finden Sie unter https:\/\/www.example.com\/sitemap.xml<\/strong>.<\/li><\/ul>
    Wenn keine robots.txt-Datei vorhanden ist, k\u00f6nnen alle Crawler standardm\u00e4\u00dfig auf die gesamte Website zugreifen. Die robots.txt-Datei verfeinert diese Berechtigungen.<\/p>
    Warum Sie eine Robots.txt-Datei ben\u00f6tigen<\/h2>
    \"\"<\/figure>
    Die Verwendung einer robots.txt-Datei bietet mehrere Vorteile:<\/p>
    • Kontrolle Crawling<\/strong>: Damit k\u00f6nnen Sie verwalten, welche Teile Ihrer Website von Suchmaschinen gecrawlt werden, um die Belastung Ihres Servers zu verringern und zu verhindern, dass sensible Inhalte indiziert werden.<\/li>\n\n
    • SEO verbessern<\/strong>: Sie k\u00f6nnen die Crawler der Suchmaschinen auf die wichtigsten Seiten Ihrer Website lenken und so sicherstellen, dass sie die richtigen Inhalte indizieren, um Ihr Suchranking zu verbessern.<\/li>\n\n
    • Sensible Inhalte sch\u00fctzen<\/strong>: Eine robots.txt-Datei kann zwar den Zugriff auf sensible Daten nicht verhindern, aber sie kann dabei helfen, private Seiten vor den Crawlern von Suchmaschinen zu verbergen, z. B. Anmeldeseiten oder Verwaltungsbereiche.<\/li><\/ul>
      Wie man eine Robots.txt-Datei erstellt<\/h2>
      Die Erstellung einer robots.txt-Datei ist ganz einfach und kann mit jedem einfachen Texteditor wie Notizblock<\/strong>, TextEdit<\/strong>, vi<\/strong>, oder Emacs<\/strong>. Vermeiden Sie die Verwendung von Textverarbeitungsprogrammen wie Microsoft Word, da diese Formatierungen einf\u00fchren k\u00f6nnen, die das ordnungsgem\u00e4\u00dfe Funktionieren der Datei beeintr\u00e4chtigen k\u00f6nnten.<\/p>
      1. Erstellen Sie die Datei<\/strong><\/h3>
      \u00d6ffnen Sie Ihren Texteditor und speichern Sie eine Datei mit dem Namen robots.txt<\/strong>. Vergewissern Sie sich, dass die Kodierung in UTF-8<\/strong> Format.<\/p>
      2. Regeln hinzuf\u00fcgen<\/strong><\/h3>
      Beginnen Sie mit dem Hinzuf\u00fcgen von Regeln, indem Sie angeben, f\u00fcr welche Benutzeragenten die Regeln gelten und welche Teile Ihrer Website sie crawlen d\u00fcrfen (oder nicht).
      Hier ein Beispiel daf\u00fcr, wie Sie allen Webcrawlern den Zugriff auf ein bestimmtes Verzeichnis verwehren k\u00f6nnen:<\/p>
      Benutzer-Agent: *\nNicht zulassen: \/privates-verzeichnis\/<\/code><\/pre>
      3. Hochladen der Datei<\/strong><\/h3>
      Laden Sie die robots.txt<\/strong> Datei in das Stammverzeichnis Ihrer Website. Wenn Ihre Website zum Beispiel www.example.com<\/strong>muss sich die Datei unter www.example.com\/robots.txt<\/strong>. Wenn Sie sich nicht sicher sind, wie Sie auf das Stammverzeichnis zugreifen k\u00f6nnen, wenden Sie sich an Ihren Hosting-Provider.<\/p>
      4. Testen Sie die Datei<\/strong><\/h3>
      Nachdem Sie die Datei hochgeladen haben, k\u00f6nnen Sie sie testen, indem Sie einen Browser im privaten Modus \u00f6ffnen und zu https:\/\/www.example.com\/robots.txt<\/strong>. Wenn Sie die Datei sehen k\u00f6nnen, bedeutet dies, dass die Datei erfolgreich hochgeladen wurde.<\/p>
      Allgemeine Robots.txt-Regeln<\/h2>
      Hier sind einige g\u00e4ngige Regeln, die in robots.txt-Dateien verwendet werden:<\/p>
      1. Blockieren Sie alle Crawler von der gesamten Website<\/strong><\/h3>
      \"\"<\/figure>
      Benutzer-Agent: *\nNicht zulassen: \/<\/code><\/pre>
      Diese Regel blockiert den Zugriff aller Crawler auf die gesamte Website. Seien Sie vorsichtig mit dieser Regel, da sie Suchmaschinen daran hindert, Ihre Inhalte zu indizieren.<\/p>
      2. Allen Crawlern Zugriff auf die gesamte Website gew\u00e4hren<\/strong><\/h3>
      \"\"<\/figure>
      Benutzer-Agent: *\nZulassen: \/<\/code><\/pre>
      Diese Regel erlaubt allen Webcrawlern den Zugriff auf Ihre gesamte Website. Dies ist das Standardverhalten, wenn Sie keine Regeln in Ihrer robots.txt-Datei angeben.<\/p>
      3. Ein bestimmtes Verzeichnis sperren<\/strong><\/h3>
      Benutzer-Agent: *\nNicht zulassen: \/privates-verzeichnis\/<\/code><\/pre>
      Diese Regel blockiert alle Crawler vom Zugriff auf die \/privates-verzeichnis\/<\/strong>. Denken Sie daran, dass der abschlie\u00dfende Schr\u00e4gstrich anzeigt, dass alles innerhalb des Verzeichnisses ebenfalls nicht erlaubt ist.<\/p>
      4. Ein bestimmtes Verzeichnis zulassen, den Rest sperren<\/strong><\/h3>
      Benutzer-Agent: *\nNicht zulassen: \/\nZulassen: \/public\/<\/code><\/pre>
      Diese Regel blockiert den Zugriff auf die gesamte Website mit Ausnahme der \/\u00d6ffentlich\/<\/strong> Verzeichnis. Dies ist n\u00fctzlich, wenn Sie den gr\u00f6\u00dften Teil Ihrer Website privat halten, aber zulassen m\u00f6chten, dass bestimmte \u00f6ffentliche Seiten indiziert werden.<\/p>
      5. Eine bestimmte Seite sperren<\/strong><\/h3>
      Benutzer-Agent: *\nNicht zulassen: \/nutzlose_seite.html<\/code><\/pre>
      Diese Regel verhindert, dass alle Crawler auf eine bestimmte Seite Ihrer Website zugreifen.<\/p>
      6. Legen Sie eine Sitemap fest<\/strong><\/h3>
      Sitemap: https:\/\/www.example.com\/sitemap.xml<\/code><\/pre>
      Die Aufnahme einer Sitemap in Ihre robots.txt-Datei hilft Suchmaschinen, alle wichtigen Seiten Ihrer Website schnell zu finden und zu crawlen.<\/p>
      Bew\u00e4hrte Praktiken f\u00fcr Robots.txt-Dateien<\/h2>
      Beachten Sie bei der Erstellung Ihrer robots.txt-Datei die folgenden bew\u00e4hrten Verfahren:<\/p>
      • Spezifisch sein<\/strong>: Blockieren Sie nur Seiten oder Verzeichnisse, die von Suchmaschinen nicht gecrawlt werden sollen.<\/li>\n\n
      • Richtigen Fall verwenden<\/strong>: Bei Regeln wird die Gro\u00df- und Kleinschreibung beachtet, also Nicht zulassen: \/Privat\/<\/strong> und Nicht zulassen: \/privat\/<\/strong> werden verschiedene Verzeichnisse blockiert.<\/li>\n\n
      • Verwenden Sie Robots.txt nicht f\u00fcr sensible Daten<\/strong>: Eine robots.txt-Datei ist \u00f6ffentlich und kann von jedem eingesehen werden. Wenn Sie sensible Inhalte haben, wie z.B. Anmeldeseiten oder Verwaltungsbereiche, verwenden Sie geeignete Authentifizierungsmethoden, um diese zu sch\u00fctzen, anstatt sich auf robots.txt zu verlassen.<\/li>\n\n
      • Regelm\u00e4\u00dfig aktualisieren<\/strong>: Stellen Sie sicher, dass Ihre robots.txt-Datei bei \u00c4nderungen an Ihrer Website-Struktur auf dem neuesten Stand bleibt.<\/li><\/ul>
        Wie Sie Ihre Robots.txt-Datei testen und einreichen<\/h2>
        \"\"<\/figure>
        Nachdem Sie Ihre robots.txt-Datei hochgeladen haben, k\u00f6nnen Sie die G\u00fcltigkeit der Datei mit Der robots.txt-Tester der Google Search Console<\/strong>. Mit diesem Tool k\u00f6nnen Sie sicherstellen, dass Ihre Datei angemessen formatiert ist und von Google richtig interpretiert werden kann.<\/p>
        So \u00fcbermitteln Sie Ihre robots.txt-Datei an Google:<\/p>
        • Gehen Sie zur Google Search Console.<\/li>\n\n
        • Verwenden Sie die Robots.txt Tester<\/strong> um Ihre Datei zu validieren.<\/li>\n\n
        • Nach der Validierung wird Google Ihre robots.txt-Datei automatisch finden und verwenden.<\/li><\/ul>
          \"\"<\/figure>
          Fazit<\/h2>
          Eine gut strukturierte robots.txt-Datei ist ein leistungsf\u00e4higes Instrument zur Verwaltung der Interaktion von Suchmaschinen mit Ihrer Website. Wenn Sie wissen, wie Sie die Datei erstellen und konfigurieren, k\u00f6nnen Sie sicherstellen, dass Ihre Website f\u00fcr das Crawling optimiert ist und gleichzeitig sensible oder unn\u00f6tige Inhalte vor den Crawlern der Suchmaschinen verborgen bleiben.
          Ganz gleich, ob Sie einen pers\u00f6nlichen Blog oder eine gro\u00dfe Unternehmenswebsite verwalten, eine richtig implementierte robots.txt-Datei kann Ihre Suchmaschinenoptimierung verbessern, sensible Inhalte sch\u00fctzen und den reibungslosen Betrieb Ihrer Website gew\u00e4hrleisten. \u00dcberpr\u00fcfen und aktualisieren Sie die Datei regelm\u00e4\u00dfig, um sie an das Wachstum und die \u00c4nderungen Ihrer Website anzupassen.<\/p>","protected":false},"excerpt":{"rendered":"
          Die Kontrolle dar\u00fcber, was Suchmaschinen crawlen k\u00f6nnen und was nicht, ist ein wesentlicher Bestandteil der Verwaltung Ihrer Online-Pr\u00e4senz. Eine der effektivsten M\u00f6glichkeiten, dies zu...<\/p>","protected":false},"author":11,"featured_media":3431,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[60,87],"tags":[326,328,327],"class_list":["post-3675","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo_tips","category-sitemap-and-robots-txt","tag-robotstxt","tag-seotips","tag-websitecrawling",""],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/posts\/3675","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/comments?post=3675"}],"version-history":[{"count":24,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/posts\/3675\/revisions"}],"predecessor-version":[{"id":3722,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/posts\/3675\/revisions\/3722"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/media\/3431"}],"wp:attachment":[{"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/media?parent=3675"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/categories?post=3675"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.openbyt.com\/de\/wp-json\/wp\/v2\/tags?post=3675"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}