Durch die robots.txt lassen sich gezielt Seiten ausschließen, sprich, Sie können dem Crawler verbieten, ausgewählte Seite einzulesen. Unter Berücksichtigung der Tatsache, dass dem Crawler zum Einlesen einer Webseite nur eine bestimmte Zeit zugesprochen wird (Crawl-Budget) und darüber hinaus mit dem Index-Budget bestimmt wird, dass jeder Webseite nur eine individuelle Indexierungs-Anzahl zusteht, wird die Bedeutung von robots.txt schnell deutlich.

Mit der robots.txt unwichtige Seiten gezielt ausschließen

Um sicherzugehen, dass Google Ihre wichtigsten Seiten auch einliest, können Sie unwichtige Inhalte von dem Crawlen ausschließen und sich somit das Crawl-Budget und Index-Budget für Ihre Zielseiten ,,sichern“. Zwar ist möglich, dass Google dennoch ihre ausgeschlossenen Seiten in den Index aufnimmt, wenn diese für besonders wichtig erachtet werden, jedoch erhöhen Sie Ihre Chancen dass Ihre wichtigsten Inhalte in jedem Falle eingelesen werden. Gleichzeitig kann in diesem Programm auch die Antwort darauf liefern, warum Ihre Webseite überhaupt erst gar nicht bei Google erscheint. Es ist möglich, dass Sie dem Crawler durch eine kleine Einstellung im Shopsystem verbieten, dass er Ihre Seite überhaupt einlesen und indexieren darf.

Wann das Ausschließen von Seiten über die robots.txt sinnvoll ist:

• Bei doppelten Inhalten, welche sich oftmals auf Produktseiten wiederfinden, da ein Online-Händler oft gewillt ist die Produktdaten vom Hersteller zu kopieren und in seine Seite einzufügen. Eine hohe %Zahl von kopierten Inhalten schwächt allerdings die Gesamtperformance Ihrer Seite.
• Bei Seiten ohne Nutzen für den User und solchen, die Sie vor der Öffentlichkeit verborgen halten möchten: So empfiehlt es sich entsprechend den Login-Bereich für das Backend Ihrer Site auszuschließen oder auch das Impressum, denn zum einen geht es hierbei um Ihren Schutz, andererseits tun Inhalte wie die AGB oder das Impressum nichts für die Verweildauer oder Conversion-Rate, sorgen unter Umständen für eine hohe Absprungrate und würden die ,,Macht“ Ihrer Seite im Allgemeinen eher mindern.

Die robots.txt Checkliste

• Ist Ihre Seite bei Google auffindbar?
• Haben Sie auch die Bildersuche für den Crawler freigegeben?
• Haben Sie viele doppelte Inhalte, welche nicht eingelesen werden sollen, um die Seite zu schwächen?
• Haben Sie den Admin-Bereich vom Indexieren ausgeschlossen?

Überprüfen Sie die Auffindbarkeit/Indexierung der Verzeichnisse mit der Robots.txt und verweigern Sie ggf. sensiblen Bereichen den Zutritt wie bspw. /agb oder /admin-login

Für weitere Informationen über die Konfiguration der robots.txt nehmen Sie bitte Kontakt zu einem SEO Consultant auf. Wir unterstützen Sie bei der SEO-Strategie im Zuge der Suchmaschinenoptimierung von Onlineshop-Systemen.