Crawling ist der erste Schritt, den eine Suchmaschine unternimmt, bevor deine Website bei Google erscheinen kann. Ein automatisierter Bot (kurz: Crawler oder Spider) ruft deine Seiten auf, liest den HTML-Quelltext und folgt den enthaltenen Links weiter zur nächsten Seite. Ohne diesen Schritt findet keine Indexierung statt, und ohne Indexierung keine Platzierung in den Suchergebnissen.

Wie Crawling funktioniert: von der URL bis zum Ranking

Googles Crawler heißt Googlebot. Er arbeitet sich durch das Web, indem er bekannten URLs folgt, Links auf bereits besuchten Seiten abarbeitet und XML-Sitemaps auswertet, die Website-Betreiber in der Search Console einreichen. Jede neue URL, die er dabei entdeckt, kommt in eine Warteschlange für den nächsten Besuch.

Der Weg vom ersten Crawl bis zum Auftauchen in der Suche läuft in vier Schritten ab:

1. Crawling: Der Bot ruft deine URL ab und lädt den HTML-Quelltext. Alle enthaltenen Links werden registriert und für folgende Crawls vorgemerkt.
2. Rendering: Der Quelltext wird interpretiert, JavaScript wird ausgeführt, damit der Bot das sieht, was ein Nutzer tatsächlich im Browser sieht.
3. Indexierung: Wenn Google die Seite für indexierungswürdig hält, nimmt sie der Algorithmus in den Suchindex auf.
4. Ranking: Erst wenn eine Seite im Index ist, kann sie bei passenden Suchanfragen platziert werden.

Wichtig: Nicht jede gecrawlte Seite wird automatisch indexiert. Google entscheidet anhand von Qualität, Einzigartigkeit und technischen Signalen, ob eine Seite den Index verdient. Eine Seite kann also gecrawlt worden sein und trotzdem in keiner Suchanfrage erscheinen.

Einen wichtigen Einfluss hat dabei die robots.txt: Diese Datei liegt im Wurzelverzeichnis deiner Domain und teilt allen Crawlern mit, welche Bereiche sie betreten dürfen und welche nicht. Wer dort ganze Verzeichnisse sperrt, macht diese Seiten für den Googlebot unsichtbar, bevor er auch nur eine Zeile davon lesen kann.

KI-Crawler: Wer neben Google noch deine Website liest

Neben Googlebot, Bingbot und Co. gibt es seit 2023 eine wachsende Gruppe von KI-Crawlern. Diese Bots sammeln Inhalte für die Trainingsdaten und Antwortmodelle der großen KI-Systeme. Zu den verbreitetsten Vertretern (Stand: Oktober 2026) gehören:

• GPTBot (OpenAI): crawlt für das Training der GPT-Modelle und ChatGPT
• ClaudeBot (Anthropic): sammelt Inhalte für das Sprachmodell Claude
• PerplexityBot (Perplexity AI): erfasst Seiten, damit Perplexity sie in seinen Antworten als Quelle anzeigen kann
• Google-Extended: kein eigener Crawler, sondern ein robots.txt-Token. Damit legst du fest, ob Google deine Inhalte für das Training und die Antworten von Gemini nutzen darf; gecrawlt wird weiterhin mit den normalen Google-Crawlern, und auf die Google-Suche selbst hat das Token keinen Einfluss
• meta-externalagent (Meta): sammelt Inhalte für Metas KI-Systeme

Nach Angaben der Betreiber respektieren diese Bots die robots.txt wie klassische Suchmaschinen-Crawler. Wer KI-Crawler pauschal sperrt, riskiert, in KI-gestützten Suchergebnissen und Chatbot-Antworten nicht mehr aufzutauchen, auch wenn die eigene Website die beste Antwort auf eine Frage hätte.

Ein neuerer Ansatz in diesem Kontext ist llms.txt: eine einfache Markdown-Datei, die du auf deiner Domain veröffentlichst und die KI-Systemen eine kuratierte Übersicht deiner wichtigsten Inhalte liefert. Sie ist ein Community-Vorschlag, kein offizieller Standard, und regelt keine Zugriffsrechte; das bleibt Aufgabe der robots.txt. Was diese Datei konkret leistet und warum sie für die Sichtbarkeit in KI-Antworten relevant wird, erklärt der Artikel llms.txt: Warum diese kleine Datei über deine zukünftige Sichtbarkeit bei Google & Co. entscheidet. Für Webflow-Nutzer gibt es außerdem einen Praxistest mit konkreten Ergebnissen: Webflow & llms.txt: Unser Praxis-Test zeigt, was es wirklich bringt.

Ein Beispiel aus der Praxis: die neue Webflow-Seite, die nicht gecrawlt wird

Angenommen, du erstellst in Webflow eine neue Unterseite für ein Produkt oder eine Dienstleistung. Du verlinkst sie von keiner anderen Seite deiner Website und reichst die URL nicht über die Search Console ein. Was passiert?

Googlebot kennt die Adresse schlicht nicht. Er folgt Links von bereits bekannten Seiten zur nächsten. Wenn kein interner Link zur neuen Seite führt und sie nicht in der Sitemap steht, bleibt die URL für den Crawler unsichtbar. Sie kann Wochen oder Monate lang nicht gecrawlt werden, egal wie gut der Inhalt ist und egal wie sorgfältig du Texte und Meta-Daten gepflegt hast.

Die Lösung ist einfach: Setze mindestens einen internen Link von einer bereits indexierten Seite auf die neue URL. Das gibt Googlebot eine Spur, der er folgen kann. Eine vollständige, aktuelle Sitemap beschleunigt diesen Prozess zusätzlich. Wer wissen will, wie eine Website darüber hinaus aktiv neue Kunden findet, findet erste Antworten im Artikel Wie gewinnt eine Website neue Kunden?

Crawling für B2B-Websites und Webflow: Was du wissen musst

Wer eine Website auf Webflow betreibt, hat beim Crawling einige strukturelle Vorteile, aber auch konkrete Fallstricke, die leicht übersehen werden.

Was Webflow automatisch erledigt: Webflow generiert eine XML-Sitemap für jede veröffentlichte Website automatisch. Sie liegt unter /sitemap.xml deiner Domain und listet alle öffentlichen Seiten auf. Du kannst sie direkt in der Google Search Console einreichen, damit Google schneller und vollständiger crawlt.

Staging-Domain absichern: Jede Webflow-Website hat eine Standard-Subdomain in der Form deinprojekt.webflow.io. Bleibt diese Domain öffentlich zugänglich, crawlt und indexiert Google sie als eigenständige Website. Das erzeugt doppelten Inhalt (Duplicate Content), der dem Ranking deiner Hauptdomain schadet. Abhilfe schafft die Option in den Site Settings unter SEO → Indexing, mit der du die Indexierung der Staging-Subdomain abschaltest: Webflow veröffentlicht dann eine eigene robots.txt nur für die webflow.io-Adresse. Zusätzlich sollte die globale Canonical-URL auf die Hauptdomain zeigen.

Interne Verlinkung aktiv gestalten: Webflow generiert zwar eine Sitemap, aber du bist dafür verantwortlich, dass relevante Seiten von anderen Seiten aus verlinkt sind. Tiefe Seiten ohne interne Links werden seltener gecrawlt und bleiben oft im hinteren Teil des Indexes. Ein durchdachtes Navigationskonzept und kontextuelle Links im Content sorgen dafür, dass Googlebot jede wichtige Seite regelmäßig besucht.

Crawl Budget für große Webprojekte: Bei umfangreichen Webflow-Projekten mit Hunderten oder Tausenden Seiten ist das Crawl Budget relevant: die begrenzte Zeit und Ressourcen, die Google für das Durchsuchen deiner Domain aufwendet. Ladezeiten optimieren, defekte Links entfernen und unnötige Redirect-Ketten kürzen, das schont das Budget für die wichtigen Seiten.

Einen vollständigen Überblick, warum Webflow für Unternehmen sinnvoll ist und wie die technische Grundlage aufgebaut wird, bietet der Artikel Webflow Website für Unternehmen: Lohnt es sich in 2026?

Häufige Fehler beim Crawling

Crawling-Fehler passieren oft unbemerkt und können Wochen lang unentdeckt bleiben. Die drei häufigsten:

Wichtige Bereiche per robots.txt gesperrt: Wer in der robots.txt aus Versehen das Wurzelverzeichnis (/) oder wichtige Unterordner sperrt, blockiert Googlebot vollständig für diese Bereiche. Das passiert zum Beispiel, wenn eine robots.txt vom Testsystem auf die Produktivdomain kopiert wird, ohne sie anzupassen. In der Google Search Console findest du betroffene URLs im Bericht „Seiten“ unter dem Grund „Durch robots.txt-Datei blockiert“.

Crawling mit Indexierung verwechseln: Eine gecrawlte Seite ist nicht automatisch indexiert. Eine noindex-Direktive verhindert die Aufnahme in den Index, nicht aber das Crawlen selbst. Wer robots.txt-Sperren und noindex-Tags durcheinander bringt, erzeugt schnell ungewollte Ergebnisse: Seiten, die gecrawlt werden, aber nie auftauchen, oder Seiten, die gar nicht mehr erreicht werden können.

KI-Crawler unbeabsichtigt ausgesperrt: Viele robots.txt-Dateien wurden zu einer Zeit geschrieben, als nur Googlebot und Bingbot relevant waren. Wer heute GPTBot, ClaudeBot oder PerplexityBot nicht explizit adressiert, sollte prüfen, ob seine aktuelle Konfiguration diese Bots blockiert oder durchlässt, und ob das der eigenen Strategie für KI-Sichtbarkeit entspricht.

Wie du solche Fehler systematisch aufspürst und behebst, zeigt der Artikel So findest und behebst du SEO-Fehler auf deiner Website mit Ahrefs.

Fazit: Crawling als Grundlage jeder SEO-Strategie

Crawling ist kein Selbstläufer. Googlebot und KI-Crawler besuchen nur Seiten, die sie auch finden können. Das hängt von internen Links, Sitemap-Qualität, robots.txt-Konfiguration und Ladezeiten ab. Wer diese Stellschrauben kennt und richtig einstellt, legt den Grundstein dafür, dass Inhalte nicht nur geschrieben, sondern auch gelesen, indexiert und gefunden werden.

Die häufigste Ursache, warum eine neue Seite bei Google nicht auftaucht, ist nicht schlechter Content. Es ist, dass Googlebot sie schlicht noch nicht besucht hat.