ThemeLocal - Blog-Tipps, die wie von Zauberhand funktionierenThemeLocal - Blog-Tipps, die wie von Zauberhand funktionieren
  • Bloggen
  • WordPress
  • E-Mail Marketing
  • SEO
  • Soziale Netzwerke
  • Mehr
    • Tutorials
    • Shopify
    • Bewertungen
    • Tipps
    • Sicherheit
    • Software und Dienste
    • Verkehrserzeugung
    • Anfängerleitfaden
    • Showcase
Search
  • Nutzungsbedingungen
  • Datenschutzerklärung
  • Cookie-Richtlinie
  • Kontakt
© 2022 Themelocal. Alle Rechte vorbehalten.
Lektüre: Der ultimative Leitfaden zur Optimierung von WordPress Robots.txt
Aktie
Benachrichtigung Zeig mehr
Neuesten Nachrichten
Ton und Bild: Mich stört eine weitere Spotify-HiFi-Verzögerung nicht so sehr
Technische Bewertungen
Gewinner und Verlierer: Das Steam Deck wird zum ersten Mal verkauft, da Microsoft sein KI-Ethikteam fallen lässt
Technische Bewertungen
Strg+Alt+Entf: Laptops sollten mehr Wert auf Personalisierung legen
Technische Bewertungen
Die 8 besten Tools zur Optimierung von Online-Inhalten für WordPress (2023)
Showcase
Schnellladung: Der Snapdragon 7 Plus Gen 2 ist in der Lage, aber werden alle Telefone ihn verwenden?
Technische Bewertungen
Aa
ThemeLocal - Blog-Tipps, die wie von Zauberhand funktionierenThemeLocal - Blog-Tipps, die wie von Zauberhand funktionieren
Aa
  • Bloggen
  • WordPress
  • E-Mail Marketing
  • SEO
  • Soziale Netzwerke
  • Mehr
Search
  • Bloggen
  • WordPress
  • E-Mail Marketing
  • SEO
  • Soziale Netzwerke
  • Mehr
    • Tutorials
    • Shopify
    • Bewertungen
    • Tipps
    • Sicherheit
    • Software und Dienste
    • Verkehrserzeugung
    • Anfängerleitfaden
    • Showcase
Folge uns
  • Nutzungsbedingungen
  • Datenschutzerklärung
  • Cookie-Richtlinie
  • Kontakt
© 2022 Themelocal. Alle Rechte vorbehalten.
ThemeLocal - Blog-Tipps, die wie von Zauberhand funktionieren > Blog > Tipps > Der ultimative Leitfaden zur Optimierung von WordPress Robots.txt
Tipps

Der ultimative Leitfaden zur Optimierung von WordPress Robots.txt

Zuletzt aktualisiert: November 12, 2021 5:12 am
ThemeLocal vor 1 Jahr 11 Minuten Mindestlesezeit
Aktie
11 Minuten Mindestlesezeit
Aktie

Wenn Sie einen Blog oder eine Website in WordPress erstellen, wird automatisch eine robots.txt-Datei für jede Ihrer Landingpages und Posts erstellt. Dies ist ein wichtiger Aspekt der SEO Ihrer Website, da er von Suchmaschinen beim Crawlen des Inhalts Ihrer Website verwendet wird.

Contents
Was ist eine Robots.txt-Datei?User-AgentZulassen und nicht zulassenSeitenverzeichnisBenötigen Sie eine Robots.txt-Datei auf WordPress?Sie können Ihr Crawl-Budget optimierenSie können Ihre wichtigen Landing Pages priorisierenSie können die allgemeine SEO-Qualität Ihrer Website verbessernSo bearbeiten Sie eine Robots.txt-Datei in WordPressFügen Sie Ihrem WordPress ein SEO-Plugin hinzuFügen Sie Ihrem WordPress ein Robots.txt-Plugin hinzuSo testen Sie Ihre WordPress Robots.txt-DateiSo optimieren Sie Ihre WordPress Robots.txt-Datei für SEOErstellen Sie Sitemaps und fügen Sie sie Ihrer Robots.txt-Datei hinzuNehmen Sie einen minimalistischen Ansatz

Wenn Sie die SEO Ihrer Website auf die nächste Stufe heben möchten, ist die Optimierung der robots.txt-Datei auf Ihrer WordPress-Site wichtig, aber leider nicht so einfach wie das Hinzufügen von Schlüsselwörtern zu Ihren Inhalten. Aus diesem Grund haben wir diesen Leitfaden zu WordPress robots.txt zusammengestellt, damit Sie ihn perfektionieren und Ihr Suchranking verbessern können.

Was ist eine Robots.txt-Datei?

Beim Platzieren von Websites auf Suchmaschinen-Ergebnisseiten (SERPs) „crawlen“ Suchmaschinen wie Google Website-Seiten und analysieren deren Inhalt. Die robots.txt-Datei jeder Website teilt den „Bots“ des Crawlers mit, welche Seiten gecrawlt werden sollen und welche nicht – im Wesentlichen eine Form von Robotische Prozessautomatisierung (RPA).

Sie können die robots.txt-Datei jeder Website anzeigen, indem Sie /robots.txt nach dem Domainnamen eingeben. Es wird ungefähr so ​​aussehen:

Robots.txt-Datei

Lassen Sie uns jedes der Elemente im obigen Bild aufschlüsseln.

User-Agent

Der User-Agent in einer robots.txt-Datei ist die Suchmaschine, von der die robots.txt-Datei gelesen werden soll. Im obigen Beispiel ist der User-Agent mit einem Sternchen gekennzeichnet, dh er gilt für alle Suchmaschinen.

Die meisten Websites freuen sich, wenn alle Suchmaschinen ihre Website crawlen, aber manchmal möchten Sie möglicherweise alle Suchmaschinen außer Google daran hindern, Ihre Website zu crawlen, oder spezifische Anweisungen zum Crawlen Ihrer Website durch Suchmaschinen wie Google News oder Google Bilder bereitstellen.

In diesem Fall müssen Sie die User-Agent-ID der Suchmaschinen ermitteln, die Sie anweisen möchten. Dies ist einfach genug, um online zu finden, aber hier sind einige der wichtigsten:

  • Google: Googlebot
  • Google News: Googlebot-News
  • Google Bilder: Googlebot-Image
  • Google Video: Googlebot-Video
  • Bing: Bingbot
  • Yahoo: Schlürfen Bot

Zulassen und nicht zulassen

In robots.txt-Dateien teilen Zulassen und Verbieten den Bots mit, welche Seiten und Inhalte sie crawlen können und welche nicht. Wenn Sie, wie oben erwähnt, alle Suchmaschinen außer Google daran hindern möchten, Ihre Website zu crawlen, können Sie die folgende robots.txt-Datei verwenden:

Robots.txt zulassen/verbieten

Der Schrägstrich (/) nach „Disallow“ und „Allow“ teilt dem Bot mit, dass er alle Seiten crawlen darf oder nicht. Sie können auch bestimmte Seiten zwischen Schrägstriche setzen, um dem Bot zu erlauben oder zu verbieten, sie zu crawlen.

Seitenverzeichnis

Die „Sitemap“ in einer robots.txt-Datei ist eine XML-Datei, die eine Liste und Details aller Seiten Ihrer Website enthält. Es sieht aus wie das:

Sitemap-Robots.txt-Datei hinzufügen

Die Sitemap enthält alle Webseiten, die der Bot entdecken soll. Die Sitemap ist besonders hilfreich, wenn Sie Webseiten haben, die in den Suchergebnissen erscheinen sollen, es sich aber nicht um typische Landingpages handelt – wie zum Beispiel Blog-Posts.

Sitemaps sind besonders wichtig für WordPress-Benutzer, die hoffen, dass beleben ihre Website mit Blog-Posts und Kategorieseiten. Viele davon erscheinen möglicherweise nicht in SERPs, wenn sie keine eigene robots.txt-Sitemap haben.

Dies sind die Kernaspekte einer robots.txt-Datei. Es sollte jedoch beachtet werden, dass Ihre robots.txt-Datei kein todsicherer Weg ist, um Suchmaschinen-Bots daran zu hindern, bestimmte Seiten zu crawlen. Zum Beispiel, wenn eine andere Website . verwendet Ankertexte um auf eine Seite zu verlinken, die Sie in Ihrer robots.txt-Datei „nicht zugelassen“ haben, können Suchmaschinen-Bots diese Seite trotzdem crawlen.

Benötigen Sie eine Robots.txt-Datei auf WordPress?

Wenn Sie eine mit WordPress betriebene Website oder einen Blog haben, verfügen Sie bereits über eine automatisch generierte robots.txt-Datei. Hier sind einige Gründe, warum es wichtig ist, Ihre robots.txt-Datei zu berücksichtigen, wenn Sie sicherstellen möchten, dass Sie eine SEO-freundliche WordPress-Site haben.

Sie können Ihr Crawl-Budget optimieren

Ein Crawl-Budget oder eine Crawl-Quote ist die Anzahl der Seiten, die Suchmaschinen-Bots an einem bestimmten Tag auf Ihrer Website crawlen. Wenn Sie keine optimierte robots.txt-Datei haben, verschwenden Sie möglicherweise Ihr Crawl-Budget und verhindern, dass Bots die Seiten Ihrer Website crawlen, die in den SERPs zuerst erscheinen sollen.

Wenn Sie Produkte oder Dienstleistungen über Ihre WordPress-Site verkaufen, möchten Sie idealerweise die Seiten mit den besten Umsatzumwandlung von Crawler-Bots priorisiert werden.

Sie können Ihre wichtigen Landing Pages priorisieren

Durch die Optimierung Ihrer robots.txt-Datei können Sie sicherstellen, dass die Zielseiten, die in SERPs zuerst erscheinen sollen, für Crawler-Bots einfach und schnell zu finden sind. Die Aufteilung Ihres Site-Index in einen ‚Pages‘- und ‚Posts‘-Index ist hierfür besonders nützlich, da Sie sicherstellen können, dass Blog-Posts in SERPs und nicht nur in Ihren Standard-Landingpages erscheinen.

Wenn Ihre Website beispielsweise viele Seiten hat und Ihr Kundendaten zeigt, dass Ihre Blog-Posts viele Käufe generieren, können Sie Sitemaps in Ihrer robots.txt-Datei verwenden, um sicherzustellen, dass Ihre Blog-Posts auf SERPs erscheinen.

Sie können die allgemeine SEO-Qualität Ihrer Website verbessern

Vermarkter sind sich des Großen bewusst Suchmaschinenoptimierung ROI. Organische Suchanfragen auf Ihre Website zu lenken, indem Sie sich auf die SEO konzentrieren, ist billiger und oft effektiver als bezahlte Anzeigen und Affiliate-Links – obwohl beide immer noch helfen. Sehen Sie sich diese Statistiken an für ROI des Marketingkanals.

ROI des Marketingkanals

Die Optimierung Ihrer robots.txt-Datei ist nicht die einzige Möglichkeit, das Suchranking Ihrer Website oder Ihres Blogs zu verbessern. Sie benötigen weiterhin SEO-freundliche Inhalte auf den Seiten selbst, die Sie möglicherweise benötigen SEO SaaS Anbieter zu helfen. Sie können Ihre robots.txt-Datei jedoch ganz einfach selbst bearbeiten.

So bearbeiten Sie eine Robots.txt-Datei in WordPress

Wenn Sie Ihre robots.txt-Datei in WordPress bearbeiten möchten, gibt es mehrere Möglichkeiten, dies zu tun. Die beste und einfachste Möglichkeit besteht darin, Ihrem Content-Management-System ein Plugin hinzuzufügen – Ihrem WordPress-Dashboard.

Fügen Sie Ihrem WordPress ein SEO-Plugin hinzu

Dies ist der einfachste Weg, um Ihre WordPress robots.txt-Datei zu bearbeiten. Es gibt viele gute SEO-Plugins, mit denen Sie die robots.txt-Datei bearbeiten können. Einige der beliebtesten sind Yoast, Rank Math und All In One SEO.

Fügen Sie Ihrem WordPress ein Robots.txt-Plugin hinzu

Es gibt auch WordPress-Plugins, die speziell durch Bearbeiten Ihrer robots.txt-Datei entwickelt wurden. Beliebte robots.txt-Plugins sind Virtual Robots.txt, WordPress Robots.txt Optimization und Robots.txt Editor.

So testen Sie Ihre WordPress Robots.txt-Datei

Wenn Sie Ihre robots.txt-Datei bearbeitet haben, ist es wichtig, dass Sie sie testen, um sicherzustellen, dass Sie keine Fehler gemacht haben. Fehler in Ihrer robots.txt-Datei können dazu führen, dass Ihre Website vollständig von SERPs ausgeschlossen wird.

Google Webmaster hat ein robots.txt-Testtool die Sie kostenlos verwenden können, um Ihre Datei zu testen. Um es zu verwenden, fügen Sie einfach die URL Ihrer Homepage hinzu. Die Datei robots.txt wird angezeigt und Sie sehen „Syntaxwarnung“ und „Logikfehler“ in allen Zeilen der Datei, die nicht funktionieren.

Google Webmaster Robots.txt-Testtool

Sie können dann eine bestimmte Seite Ihrer Website aufrufen und einen User-Agent auswählen, um einen Test durchzuführen, der zeigt, ob diese Seite „akzeptiert“ oder „gesperrt“ ist. Sie können Ihre robots.txt-Datei im Testtool bearbeiten und den Test bei Bedarf erneut ausführen. Beachten Sie jedoch, dass dies Ihre eigentliche Datei nicht ändert. Sie müssen die bearbeiteten Informationen kopieren und in Ihren robots.txt-Editor einfügen und dort speichern.

So optimieren Sie Ihre WordPress Robots.txt-Datei für SEO

Der einfachste Weg, Ihre robots.txt-Datei zu optimieren, besteht darin, auszuwählen, welche Seiten Sie nicht zulassen möchten. In WordPress sind typische Seiten, die Sie möglicherweise nicht zulassen, /wp-admin/, /wp-content/plugins/, /readme.html, /zurückverfolgen/.

Zum Beispiel a SaaS-Marketing Anbieter hat viele verschiedene Seiten und Beiträge auf ihrer WordPress-Site. Durch das Sperren von Seiten wie /wp-admin/ und /wp-content/plugins/, können sie sicherstellen, dass die von ihnen geschätzten Seiten von Crawler-Bots priorisiert werden.

Erstellen Sie Sitemaps und fügen Sie sie Ihrer Robots.txt-Datei hinzu

WordPress erstellt eine eigene generische Sitemap, wenn Sie damit einen Blog oder eine Website erstellen. Diese finden Sie normalerweise unter example.wordpress.com/sitemap.xml. Wenn Sie Ihre Sitemap anpassen und zusätzliche Sitemaps erstellen möchten, sollten Sie ein robots.txt- oder SEO-WordPress-Plugin verwenden.

Sie können auf Ihr Plugin in Ihrem WordPress-Dashboard zugreifen und es sollte einen Abschnitt zum Aktivieren und Bearbeiten Ihrer Sitemap enthalten. Mit guten Plugins können Sie problemlos zusätzliche Sitemaps erstellen und anpassen, z. B. eine Sitemap für „Seiten“ und eine Sitemap für „Posts“.

Wenn Ihre Sitemaps eingerichtet sind, fügen Sie sie einfach wie folgt zu Ihrer robots.txt-Datei hinzu:

Robots.txt Sitemap hinzufügen

Nehmen Sie einen minimalistischen Ansatz

Auch wenn es spannend sein kann, Ihre WordPress robots.txt-Datei zu bearbeiten und zu optimieren, ist es wichtig, einen minimalistischen Ansatz zu verfolgen, bei dem weniger ist mehr. Dies liegt daran, dass wenn Sie Seiten auf Ihrer Website nicht zulassen, dies verhindert, dass Crawler-Bots diese Seiten nach anderen Seiten durchsuchen. Dies kann bedeuten, dass wichtige Seiten nicht entdeckt werden und die strukturelle Integrität Ihrer Website aus Sicht von Suchmaschinen-Bots geschwächt wird.

Es ist auch nicht erforderlich, den Zugriff auf jede Seite Ihrer Website in der robots.txt-Datei zu „erlauben“. Crawler-Bots entdecken diese Seiten bereits – konzentrieren Sie sich stattdessen auf Ihre Sitemaps und die Seiten, die Sie nicht zulassen müssen, damit Ihre wichtigsten Seiten zuerst gefunden werden.


In diesem Handbuch haben wir alles, was Sie über WordPress robots.txt-Dateien wissen müssen, bereitgestellt. Von der Erklärung, was robots.txt-Dateien sind, bis hin zu den Gründen und wie Sie Ihre robots.txt-Datei für SEO optimieren sollten, hilft dieser Artikel, wenn Sie einfache und effektive Möglichkeiten finden möchten, das Suchranking Ihrer WordPress-Website zu verbessern.

Verwandter Beitrag

Die 8 besten Tools zur Optimierung von Online-Inhalten für WordPress (2023)

Schnellladung: Der Snapdragon 7 Plus Gen 2 ist in der Lage, aber werden alle Telefone ihn verwenden?

Die 2023 Apple Watch Series 9: Was Sie diesen Herbst von Apple erwarten können

Bewertung: Der 5C NFC YubiKey von Yubico funktioniert gut mit Apples Sicherheitsschlüsselfunktion

Nokia G22 vs. Nokia G21: Was ist der Unterschied?

MARKIERTE: der, Leitfaden, Optimierung, Robotstxt, ultimative, von, WordPress, zur
ThemeLocal November 12, 2021
Teile diesen Artikel
Facebook Twitter Pinterest Whatsapp Whatsapp
Aktie
Was denkst du?
Liebe0
Traurig0
Glücklich0
Schläfrig0
Wütend0
kein Kommentar0
Zwinkern0
Vorheriger Artikel So fügen Sie Google Analytics zu WordPress hinzu (3 einfache Methoden)
Nächster Artikel Ultimativer Leitfaden für WordPress-Kategorien und -Tags
Hinterlasse einen Kommentar

Schreibe einen Kommentar Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Berühmter Post

So laden Sie einen Film in eine Instax Mini-Kamera
Wie man
Chat GPT-4 vs. Chat GPT-3: Was ist neu?
Gegen
So verwenden Sie die Emoji-Suche auf dem iPhone und iPad
Wie man
Der Nest Hub war mit diesem unglaublichen Angebot noch nie billiger
Angebote
Bewertung: Der 5C NFC YubiKey von Yubico funktioniert gut mit Apples Sicherheitsschlüsselfunktion
Technische Bewertungen
OneOdio OpenRock Pro Bewertung
Technische Bewertungen

También podría gustarte

Showcase

Die 8 besten Tools zur Optimierung von Online-Inhalten für WordPress (2023)

vor 2 Tagen 12 Minuten Mindestlesezeit
Technische Bewertungen

Schnellladung: Der Snapdragon 7 Plus Gen 2 ist in der Lage, aber werden alle Telefone ihn verwenden?

vor 2 Tagen 3 Minuten Mindestlesezeit
Guides

Die 2023 Apple Watch Series 9: Was Sie diesen Herbst von Apple erwarten können

vor 3 Tagen 5 Minuten Mindestlesezeit
Technische Bewertungen

Bewertung: Der 5C NFC YubiKey von Yubico funktioniert gut mit Apples Sicherheitsschlüsselfunktion

vor 3 Tagen 9 Minuten Mindestlesezeit
Gegen

Nokia G22 vs. Nokia G21: Was ist der Unterschied?

vor 4 Tagen 9 Minuten Mindestlesezeit
Wie man

So drucken Sie Google Docs von iPhone und iPad – schnell und einfach (2023)

vor 4 Tagen 4 Minuten Mindestlesezeit
Tutorials

So fügen Sie eine SEO-Editor-Rolle in WordPress hinzu

vor 5 Tagen 6 Minuten Mindestlesezeit
Wie man

So löschen Sie Hintergrundbilder unter iOS 16 – der schnellste Weg (2023)

vor 5 Tagen 3 Minuten Mindestlesezeit
Zeig mehr
ThemeLocal - Blog-Tipps, die wie von Zauberhand funktionierenThemeLocal - Blog-Tipps, die wie von Zauberhand funktionieren
Folge uns

© 2022 Themelocal. Alle Rechte vorbehalten.

  • Nutzungsbedingungen
  • Datenschutzerklärung
  • Cookie-Richtlinie
  • Kontakt

Removed from reading list

Rückgängig machen
Welcome Back!

Sign in to your account

Passwort vergessen?