Crawling

Der Akteur, der diesen Prozess durchführt, ist der Crawler. Dies ist kein Mensch, sondern ein Computerprogramm, dessen  Aufgabe es ist, das World Wide Web zu erkunden. Jede Suchmaschine hat ihre eigenen Crawler; die bekanntesten sind der Googlebot und der Bingbot. Mittlerweile durchsuchen auch Crawler von KI-Unternehmen das Web.
Dazu gehören beispielsweise der GPTBot von OpenAI (dem Unternehmen hinter ChatGPT) und der PerplexityBot von Perplexity AI. Diese KI-Crawler sammeln Daten, um ihre großen Sprachmodelle (LLMs) zu trainieren und die Qualität ihrer KI-generierten Antworten zu verbessern.

Der Crawler beginnt seine Arbeit mit einer Liste bekannter URLs ("Seed List"). Von diesen Ausgangspunkten aus folgt er systematisch allen Links (<a href="...">), die er auf diesen Seiten findet, um ihm bisher unbekannte Seiten zu entdecken. Jede neu gefundene URL wird zu einer langen Liste von Seiten hinzugefügt, die noch besucht werden müssen. Dieser Vorgang wiederholt sich endlos und schafft so eine riesige, ständig aktualisierte Karte des Internets.

Es ist entscheidend, das Crawling vom nächsten Schritt, der Indexierung, zu unterscheiden. Crawling ist der reine Akt des Entdeckens und Abrufens von Inhalten. Die Indexierung ist der nachfolgende Prozess des Analysierens und Speicherns dieser Inhalte in der Datenbank der Suchmaschine.

Ein moderner Crawler wie der Googlebot liest heute nicht mehr nur den reinen HTML-Quellcode. Er ist in der Lage, JavaScript auszuführen und die Seite zu rendern. Das bedeutet, er versucht, die Seite so zu sehen, wie sie auch ein menschlicher Nutzer im Browser sehen würde, inklusive aller dynamisch nachgeladenen Inhalte. Dies ist entscheidend für das Verständnis moderner, interaktiver Webseiten.

Ein weiteres strategisch wichtiges Konzept ist das Crawl-Budget. Suchmaschinen stellen Deiner Webseite nur begrenzte Ressourcen für das Crawling zur Verfügung; sie werden nicht unendlich lange und unendlich oft jede einzelne Deiner Unterseiten besuchen. Die Effizienz, mit der ein Crawler Deine wichtigsten Inhalte finden und verarbeiten kann, ist daher ein entscheidender Faktor für Deine SEO-Performance.

Du bist dem Crawling-Prozess nicht passiv ausgeliefert; Du kannst und solltest den Crawlern klare Anweisungen geben. Dafür gibt es mehrere mächtige Werkzeuge:

Die robots.txt-Datei: Dies ist die erste Anlaufstelle für jeden seriösen Crawler. In dieser Textdatei im Hauptverzeichnis Deiner Webseite legst Du fest, welche Bereiche der Crawler nicht besuchen soll. Damit kannst Du unwichtige oder sensible Bereiche schützen und das Crawl-Budget gezielt auf Deine relevanten Inhalte lenken.

Die XML-Sitemap: Während die robots.txt Verbote ausspricht, ist die Sitemap eine direkte Einladung. Sie ist eine "Landkarte" Deiner Webseite, die Du dem Crawler zur Verfügung stellst und die alle URLs enthält, die Du für wichtig hältst und die gecrawlt werden sollen.

Das noindex-Tag: Es ist wichtig, den Unterschied zu robots.txt zu verstehen. Während robots.txt das Crawlen (Besuchen) einer Seite verhindert, verhindert das noindex-Tag im HTML-Code einer Seite die Indexierung (Aufnahme in die Suchergebnisse). Eine Seite, die gecrawlt, aber nicht indexiert werden soll (z.B. interne Suchergebnisseiten), sollte ein noindex-Tag haben.

Interne Verlinkung: Die stärkste und natürlichste Methode, um Crawler zu steuern, ist eine logische und umfassende interne Verlinkungsstruktur. Seiten, die oft und prominent von anderen wichtigen Seiten Deiner Webseite verlinkt werden, werden von Crawlern als wichtiger eingestuft und häufiger besucht.

Technische Probleme können das Crawling erheblich behindern und Deine Sichtbarkeit beeinträchtigen:

Crawl-Fehler: Wenn ein Crawler auf Fehlerseiten (z.B. 404 "Not Found") oder Serverfehler (5xx-Statuscodes) stößt, kann der Prozess unterbrochen werden.

"Orphan Pages" (Verwaiste Seiten): Seiten, auf die keine internen Links verweisen, können von Crawlern nur schwer oder gar nicht gefunden werden, selbst wenn sie in der Sitemap stehen.

Blockierte Ressourcen: Wenn wichtige CSS- oder JavaScript-Dateien in der robots.txt blockiert sind, kann der Crawler die Seite nicht korrekt rendern und versteht ihren Inhalt und ihr Layout möglicherweise falsch.

Langsame Ladezeiten: Eine langsame Webseite verschwendet das wertvolle Crawl-Budget. Der Crawler kann in der ihm zur Verfügung stehenden Zeit weniger Seiten abrufen.