Sitemap in der robots.txt einschließen | ajixxo.de Weblog

Sitemap in der robots.txt einschließen

Die robots.txt Datei im Stammverzeichnis einer Internetseite dient den Suchmaschinen zur Indizierung der Internetseite per Bots. Man kann hierbei den Suchmaschinen Tipps geben, was indiziert werden soll und was nicht. Eine Pflicht, diese Angaben zu beachten, gibt es allerdings seitens Google, Bing, Yahoo und Co. nicht.


Sitemap in der robots.txt einbinden

Um die aktuelle Sitemap der eigenen Internetseite in der robots.txt darzustellen verwenden Sie einfach folgenden Code:

sitemap: http://www.meinedomain.de/sitemap.xml

Ausschließen der Indexierung von Pfaden

Weiterhin können in der robots.txt Pfade von der Indexierung ausgeschlossen werden. Hier kann zwischen einzelnen Suchmaschinen gewählt werden, welche die Pfade indizieren soll und welche nicht, was in den meisten Fällen aber keinen Sinn macht. Entweder man möchte Inhalte von Suchmaschinen indiziert haben oder nicht.

Der folgende Code gibt als Beispiel an, wie man den Pfad „admin“ von der Indexierung ausschließen kann:

# Alle Robots ausschließen
User-agent: *
Disallow: /admin/

Beispiel für eine komplette robots.txt

ajixxo.de verwendet für die Suchmaschinen die folgende robots.txt als Code:

User-agent: *
Allow: /
Sitemap: http://www.ajixxo.de/?type=200

Wir verbieten den Suchmaschinen also nicht, sämtliche Inhalte zu indexieren. Ferner geben wir an, dass unter http://www.ajixxo.de/?type=200 unser XML Sitemap liegt, die dynamisch von Typo3 aktualisiert wird, sobald die Seite sich verändert.

Verwendung einer robots.txt

Sie erstellen sich ein leeres Textdokument. Schreiben Sie die gewünschten Befehlszeilen in die robots.txt und laden Sie diese in das Stammverzeichnis Ihrer Internetseite hoch. Ab sofort wird diese von den Suchmaschinen abgefragt und gibt diesen die benötigten Informationen weiter.

Ähnliche Beiträge:

Kommentieren ist momentan nicht möglich.