Die perfekte Robots.txt für Wordpress

Robots.txt für Wordpress

Mit der ultimativen .htaccess habe ich euch bereits eine perfekte Grundlage geboten, die Browser-Caching liefert, das Hotlinking von Bildern verhindert und andere wichtige Extras mitbringt. Jetzt folgt die ultimative Robots.txt für Wordpress bzw. eine ideale Vorlage für selbige. Die Robots.txt dient dabei den automatischen Besuche, den sogenannten Robots, die, wenn sie brav sind, nur Seiten scannen und indexieren, die in der Robots.txt nicht explizit verboten werden. Warum eine Robots.txt bei Wordpress Sinn macht? Weil Bots sonst alle eure Unterseiten scannen und dann auch auf Verzeichnisse wie “wp-admin” und “wp-content” stoßen. Selbiges bedeutet dann, dass ihr euren Plugin-Ordner von Wordpress plötzlich in der Google-Suche wiederfindet, was auch die Sicherheit beeinträchtigt. Werden Schwachstellen eines Plugins bekannt, können Angreifer so nämlich sehr schnell Website finden, die das Plugin aktiviert haben. Also sollte die Robots.txt alles ausschließen was nicht für die Öffentlichkeit bestimmt ist, auch damit wirklich nur sinnvoller Inhalt indexiert wird. Eine eigene Robots.txt für Wordpress macht also durchaus Sinn.

Erstellt eine Datei mit folgendem Inhalt und speichert sie als robots.txt im Hauptverzeichnis von Worpdress:

User-agent: *
disallow: /wp-admin
disallow: /wp-includes
disallow: /wp-content
allow: /wp-content/uploads
allow: /wp-content/themes

Wordpress Robots.txt erstellen

Letztendlich kann natürlich noch viel mehr in die Robots.txt integriert werden, doch das ist im Normalfall eigentlich nicht notwendig. Wenn ihr aber noch eigene Ordner oder Dateien hinzugefügt habt die niemanden etwas angehen, dan könnt ihr selbige natürlich noch hinzufügen. Für mich gilt aber auch hier, alles möglichst schlank und minimalistisch zu halten, die Robots.txt nicht mit unnötigem Kram vollzustopfen.. Mit den Einträgen oben verbietet ihr den automatisierten Besuchern jedenfalls Bereiche von Wordpress zu indexieren bzw. in ihren Index aufzunehmen, die nicht für die Öffentlichkeit bestimmt sind, wie eben beispielsweise den Ordner “wp-admin”. Das ist nicht unwichtig, gleichzeitig aber schnell erledigt, denn es handelt sich ja nur um eine einfache Text-Datei. Dennoch wird die Robots.txt von vielen Anwendern einfach vergessen oder nur mangelhaft angelegt, auch SEO-Plugins sorgen nicht immer für eine perfekte Integration. Also einfach mal kontrollieren und im Bedarfsfall eine eigene Datei anlegen, die um entsprechende Zeilen erweitert wird. Ist ganz einfach und in zwei Minuten erledigt.