Sie kennen das sicher, das Häkchen bei WordPress „Verbietet Suchmaschinen die Website zu indexieren“, mit dem netten Teilsatz „Es liegt an den Suchmaschinen, diese Anfrage anzunehmen“.

Ich hab WordPress nie hinterfragt. Ein Kreuzchen setzen und der WordPress Blog wird nie im Google-Index auftauchen. Nichts einfacher als das! Denkste! Denn eines Tages bekam ich einen Anruf eines Kundens, sein Test-Blog sei schon bei Google sichtbar. Das sah dann so aus:

Für eingefleischte SEOs ist auf den ersten Blick klar, was passiert ist. Kann es wirklich sein, dass WordPress robots.txt und Meta Tag „noindex“ nicht korrekt anwendet? Genau. So ist es!

Setzt man das oben erwähnte Häckchen auf WordPress, so geschieht folgendes

In Robots.txt wird die Seite von Suchmaschinen wie folgt blockiert.

User-agent: *

Disallow: /blog/

Der Meta Tag Meta-Robots sieht wie folgt aus:

<meta name=“robots“ content=“noindex,follow“/>

Unterschied robots.txt und „noindex“ Meta-Robots.

Es ist wesentlich, robots.txt zu verstehen, bevor man damit etwas blockiert. 🙂 Öfters schon hab ich Aussagen gehört wie z.B. „Ach, das ist im Index, also blockieren wir es mit robots.txt“.

Das Problem in diesem Falle ist aber genau die Blockierung des Blogs durch robots.txt. Durch das Blockieren des Verzeichnisses durch robots.txt, darf Google die entsprechende Page nicht crawlen.

Deshalb sieht Google auch den „noindex“-Tag nicht und spielt folgerichtig das obige Ergebnis aus. Die „Meta Description“ erklärt schon, was los ist… Nur wenn Google den „noindex“ Meta Robots Tag lesen kann, erscheint die Page nicht in den Suchergebnissen.

Anmerkung: Der Blog wurde in diesem Falle bereits von anderen Webseiten verlinkt (historische Links, an die man hätte denken können ;)).

Wie kann man es besser lösen?

Wenn man wirklich sicher gehen möchte, dass eine Seite nicht in den Index kommt (ohne IP-Freigaben oder Passwortschutz), so sollte WordPress nicht mit robots.txt blockiert werden. Es gibt verschiedene Wege, wie man ans Ziel kommt. Beispielsweise mit WordPress SEO von YOAST pro Seitentyp (resp. Artikel, Kategorien usw.) festlegen, das alles auf noindex steht. Es sind nicht viele Klicks, um beim „Going-Live“ alles, was man möchte, wieder auf „Index“ zu stellen.

Wer mehr Informaitonen über Unterschied oder Probleme von Noindex-MetaTag und Robots.txt lesen möchte, findet z.B. hier bei der Contentmanufaktur und hier auf einer Gipfelstolz-Webseite mehr Informationen.

Was ziehe ich als Learning daraus? Vertraue nie „Tatsachen“, nur weil eine bekanntes Software oder Person etwas behauptet. 🙂