Robots Meta Tag und X-Robot Tags

Der Titel klingt ja schon kriptisch, aber mal von vorne… über die Robots-Anweisungen lassen sich die „guten“ Suchmaschinen bzw. dessen Crawler beeinflussen. Beispielsweise kann man bestimmte Seiten von der Indizierung ausschließen indem man im Wurzelverzeichnis einfach eine robots.txt anlegt und dort ein paar Regeln reinschreibt.

Beispiel:

disallow: [path]

Eine Auflistung aller Möglichkeiten findet sich auf der Seite Controlling Crawling and Indexing.

Außerdem gibts das ganze auch als Meta-Tag-Anweisung:

<meta name="robots" content="noindex" />

Schließlich kann man das ganze auch als HTTP-Header-Anweisung definieren:

X-Robots-Tag: noindex

In PHP kann dies einfach realisiert werden:

header('X-Robots-Tag: noindex');

Da der Google Crawler immer besser wird und mittlerweise auch URLs in Javascript folgt, ist diese Anweisung ggf. bei einem AJAX-Aufruf sinnvoll.

2 Gedanken zu “Robots Meta Tag und X-Robot Tags

Kommentar verfassen