Der Webcrawler (schlicht formuliert ein automatisiertes Softwareprogramm) liest zunächst die Inhalte Ihrer Webseite ein und folgt währenddessen Ihrer internen Linkstruktur, um von einer Seite zur Nächsten zu gelangen. In einem Onlineshop führt der typische Weg von der Startseite über das Menü in die Kategorieseite sowie von der Kategorieseite in die Produktseiten. Denken Sie hierbei an eine Autofahrt vom Kölner Hauptbahnhof zum Kölner Zülpicher Platz, eine verbundene Strecke, welche Sie vorbei an den Stationen Hansaring, Mediapark, Rudolfplatz sowie Friesenplatz führt, bis Sie alle ,,Zwischenstops“ gesehen haben. In selber Weise folgt der Crawler einem per Link verbundenen Pfad in Ihrem Onlineshop. Eine künstliche Unterbrechung durch die fehlende Linkstruktur gleicht einer Baustelle, welche Ihnen den Weg versperrt und die Auffindbarkeit Ihres Zielortes erheblich erschwert oder gar komplett verhindert.
Mit dem Crawlen, bzw. Erfassen Ihrer Inhalte geht die Bewertung dieser Inhalte nach Relevanz einher
Hierzu werden Ihre Inhalte mit anderen Webseiten verglichen, um das beste Suchergebnis für den User zu ermitteln. Durch die Einbindung von bereits als vertrauensvoll eingestufte Seiten, gelingt der Suchmaschine eine erste Einschätzung Ihrer Inhalte. Das Softwareprogramm beruft sich hierzu auf eine Datenbank mit enthaltenen Begrifflichkeiten zu einem Thema (Schlagworte und semantisches Umfeld) und berechnet das Vorkommen sowie die Abstände einzelner relevanter Worte aus einem Themenbereich. So ist es denkbar, dass die Seite www.köln.de oder der passende Wikipediaeintrag zu Köln mit den dort hinterlegten Informationen eine Basis für korrekte, relevante Inhalte zu diesem Thema ist und zur Einschätzung junger Seiten dient.
Bei weiteren Fragen zum Thema Webcrawler & Indexierung nehmen Sie bitte Kontakt mit einem unserer SEO Consultants auf: wir unterstützen Sie gern bei der strategischen Suchmaschinenoptimierung!