Standard robot.txt für Wordpress

Inhaltsverzeichnis

Robots.txt für Wordpress

Das Web wird immer minimalistischer. Nein, eigentlich nicht das Web, doch die Websites. Dort haben nämlich die meisten Anbieter, Designer und Web Worker begriffen, dass Flat Design nicht nur gut aussieht, sondern auch Ressourcen spart und den Fokus auf das Wesentliche lenkt. Genau deshalb reduzieren fleißige Nutzer auch immer mehr ihre Wordpress Plugins. Die Faustregel:  Je weniger Plugins, umso schneller ist die Website am Ende. Auch übermäßige Suchmaschinenoptimierung ist Vergangenheit, denn Google möchte übertriebene SEO-Maßnahmen in Zukunft sogar abstrafen. Es wird sich also eine Menge verändern und was bleibt sind simple, schnelle Websites. Das wäre zumindest mein Wunschtraum. Vor kurzem habe ich diesbezüglich auch empfohlen, eure SEO Plugins abzuschalten. Wer nur die Standards nutzt, braucht kein Plugin, es gibt ein praktisches und performantes SEO Snippet. Das arbeitet vollautomatisch und setzt die Meta-Tags ohne euer Zutun. Oder anders gesagt: Es arbeitet wie fast jedes SEO Plugin, wenn ihr dieses nicht speziell konfiguriert bzw. jeden Tag von Hand ändert, nur eben deutlich schneller und effizienter. Doch eine robots.txt legt das Snippet natürlich nicht an, weshalb ihr selbige selbst erstellen müsst.

Speichert einfach eine Text-Datei mit folgendem Inhalt als robots.txt ab und speichert sie im Hauptverzeichnis eurer Wordpress Installation:

User-agent: *
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /trackback
 Disallow: /category/*/*
 Disallow: */trackback
 Disallow: /*?*
 Disallow: /*?
 Disallow: /*~*
 Disallow: /*~

Standard robots.txt

Mit der oberen robots.txt solltet ihr nun keinerlei Probleme mehr haben. Soll heißen: Die Seiten oben werden auch nicht in den Suchergebnissen erscheinen und das ist bei Wordpress ja gerne mal der Fall. Sucht bei Google doch mal nach “/wp-content/plugins”, ihr werdet einen Haufen Seiten finden, die hier mit ihren Plugins etc. gelistet sind. Damit euch so etwas nicht passiert, speichert die Wordpress Standard robots.txt schnell ab und ladet sie in euren Wordpress-Ordner hoch. Ganz einfach, ganz schnell und schon sind die Probleme vergessen. Das macht natürlich nur dann Sinn, wenn ihr das SEO Snippet von oben nutzt, denn die meisten SEO Plugins erstellen eine eigene robots.txt mit den Einträgen, die ihr in den Optionen festgelegt habt. Eure Entscheidung.

Christian Pust
WordPress & Onlinemarketing Experte mit über 15 Jahren Erfahrung. Entwickler & CEO von Trackboxx – der Google Analytics Alternative.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Das könnte dich auch interessieren

Du benötigst Unterstützung bei deinem WordPress Projekt?

Dein Ansprechpartner
Christian