Das Crawl-Budget bestimmt, wie viele Seiten einer Website Googlebot in einem bestimmten Zeitraum besucht. Für die meisten kleinen und mittelgroßen Websites ist es kein aktives Problem. Für große Sites mit Zehntausenden von URLs, Parameterseiten oder häufigem Inhaltswechsel kann ein schlecht genutztes Crawl-Budget dazu führen, dass wichtige Seiten zu selten gecrawlt werden und möglicherweise nicht in den Google-Index gelangen. Dieser Eintrag erklärt die zwei Faktoren, aus denen es sich zusammensetzt, für welche Websites es wirklich relevant wird und was es ausdrücklich nicht ist.

Was ist Crawl-Budget?

Crawl-Budget bezeichnet die Crawling-Kapazität, die Google einer bestimmten Website widmet: wie oft und wie intensiv Googlebot die URLs einer Domain besucht. Google selbst teilt das Crawl-Budget in zwei Komponenten auf, die zusammen das gesamte Crawling-Verhalten steuern.

Crawling-Kapazitätslimit

Das Kapazitätslimit beschreibt, wie viele Anfragen Googlebot pro Zeiteinheit an einen Server stellen darf. Dieser Wert ergibt sich nicht aus einer festen Einstellung, sondern aus dem Zusammenspiel von Serverreaktion und Googles verfügbaren Ressourcen. Antwortet ein Server schnell und fehlerfrei, kann Googlebot häufiger anfragen. Bei langsamen Antwortzeiten oder gehäuften Serverfehlern drosselt der Bot seine Frequenz automatisch, um die Infrastruktur nicht zu belasten.

In der Google Search Console lässt sich das Crawl-Rate-Limit manuell reduzieren, wenn Googlebot-Traffic zu Serverproblemen führt. Nach oben regulieren lässt es sich hingegen nicht direkt: Diesen Parameter setzt Google, nicht du.

Crawling-Bedarf

Der Crawling-Bedarf beschreibt Googles internes Interesse an den URLs einer Website. Zwei Faktoren bestimmen ihn maßgeblich:

• Popularität: Stark intern und extern verlinkte Seiten signalisieren Google eine größere Bedeutung und werden häufiger gecrawlt.
• Aktualität: Seiten, die sich häufig ändern oder neu erscheinen, werden öfter besucht. Ein Nachrichtenportal mit täglichen Beiträgen zieht mehr Crawling-Aufmerksamkeit auf sich als eine statische Unternehmenswebsite ohne Inhaltswechsel.

Beide Faktoren zusammen ergeben das effektive Crawl-Budget einer Website. Ein hohes Kapazitätslimit nützt wenig, wenn Googles Bedarf an den vorhandenen URLs gering ist, weil die Seiten selten aktualisiert werden oder kaum verlinkt sind.

Für welche Websites ist Crawl-Budget relevant?

Google selbst stellt klar: Für die meisten Websites ist Crawl-Budget kein aktives Problem. Eine Unternehmensseite mit 100 Seiten, ein Portfolio mit 30 Projekten oder ein Blog mit 200 Artikeln haben in der Regel kein Crawl-Budget-Defizit. Googlebot crawlt solche Seiten ohne Kapazitätsprobleme vollständig.

Relevant wird das Thema bei diesen Website-Typen:

• Große Websites mit mehr als 10.000 bis 100.000 Seiten und regelmäßigen Inhaltsaktualisierungen, bei denen Googlebot priorisieren muss, welche URLs er besucht
• E-Commerce-Shops mit Facettennavigation und Filterkombinationen, die eine Vielzahl technisch nahezu identischer URLs erzeugen (z. B. ?farbe=rot&groesse=M&sortierung=preis-aufsteigend)
• Sites mit vielen "Gefunden, nicht indexiert"-URLs im Coverage-Report der Google Search Console, was darauf hindeutet, dass Googlebot Inhalte entdeckt, aber nicht für indexierungswürdig hält
• Nachrichtenportale und Magazine mit täglichen Veröffentlichungen, bei denen schnelle Indexierung direkt geschäftsrelevant ist

Wenn deine Website in keine dieser Kategorien fällt, ist die Zeit besser in andere Bereiche der Suchmaschinenoptimierung investiert. Crawl-Budget ist ein technisches Thema, das erst dann zur Priorität wird, wenn die schiere Anzahl an URLs zum Engpassfaktor werden kann.

Was Crawl-Budget nicht ist

Dieser Punkt wird in SEO-Diskussionen häufig falsch dargestellt, daher verdient er besondere Klarheit.

Crawl-Budget ist kein Ranking-Faktor. Wie häufig Googlebot eine Seite crawlt, beeinflusst nicht direkt ihr Ranking in den Suchergebnissen. Crawling ist der erste von drei Schritten: Crawling, Indexierung, Ranking. Eine Seite kann häufig gecrawlt und trotzdem schlecht gerankt sein. Und umgekehrt kann eine selten gecrawlte Seite bei relevanten Anfragen weit oben stehen, wenn sie inhaltlich stark ist.

Gecrawlt bedeutet nicht indexiert. Googlebot kann eine Seite besuchen und trotzdem entscheiden, sie nicht in den Index aufzunehmen. Mögliche Gründe sind Duplicate Content, dünne Inhalte, fehlende Relevanz für die Nutzerabsicht oder eine explizite Noindex-Direktive im HTML-Code.

robots.txt ist kein Crawl-Budget-Ventil. Eine verbreitete Fehlannahme: URLs per robots.txt sperren, um das Crawl-Budget gezielt auf wichtigere Bereiche umzuleiten. Das funktioniert nur begrenzt, weil gesperrte Bereiche ihr Budget nicht automatisch an andere URLs abgeben. robots.txt ist ein Werkzeug zur Zugangskontrolle, kein Budget-Regler.

Wie du dein Crawl-Budget sinnvoll nutzt

Wenn Crawl-Budget für deine Website tatsächlich ein Thema ist, gibt es konkrete Ansatzpunkte. Das Ziel ist nicht, Googlebots Besuche auf Biegen und Brechen zu erhöhen, sondern sicherzustellen, dass die vorhandene Kapazität auf Seiten mit echtem inhaltlichem Wert verwendet wird.

Soft-404-Fehler beheben: Seiten, die einen 200-Statuscode zurückgeben, inhaltlich aber leer oder bedeutungslos sind, verschwenden Crawling-Kapazität ohne jeden Nutzen. Verwende 404 oder 410, wenn Inhalte dauerhaft entfernt wurden.

Weiterleitungsketten kürzen: Jede Weiterleitung kostet Crawling-Kapazität und verlangsamt den Prozess. Kette A nach B nach C nach D direkt auf die endgültige Ziel-URL um. Kurze, direkte Weiterleitungen sind aus Crawling-Sicht deutlich effizienter.

Parameterseiten kontrollieren: Setze Canonical-Tags auf die jeweilige Haupt-URL oder steuere über robots.txt, welche URL-Varianten gecrawlt werden sollen. Das Ziel: Nur URLs crawlen lassen, die eigenständigen inhaltlichen Mehrwert bieten und nicht nur technische Duplikate darstellen.

XML-Sitemap sauber halten: Eine XML-Sitemap sollte ausschließlich Seiten enthalten, die du indexiert haben möchtest und die einen 200-Statuscode zurückgeben. Weiterleitungen, Fehlerseiten und Noindex-Seiten in der Sitemap signalisieren Google widersprüchliche Absichten und kosten unnötig Kapazität.

Interne Verlinkung überprüfen: Seiten ohne internen Link (sogenannte Orphan Pages) tauchen auf Googles Radar kaum auf. Eine durchdachte interne Verlinkung erhöht den Crawling-Bedarf für inhaltlich wichtige Seiten und verbessert die Crawl-Tiefe deiner Website insgesamt.

Crawl-Budget in der Google Search Console diagnostizieren

Einen ersten Anhaltspunkt liefert der Coverage-Report (Abdeckungsbericht) in der Google Search Console. Wenn dort viele "Gefunden, nicht indexiert"-URLs auftauchen, deutet das darauf hin, dass Googlebot zwar crawlt, die gefundenen Inhalte aber nicht für indexierungswürdig hält. Das kann ein Signal für Crawl-Budget-Verschwendung sein, muss es aber nicht: Häufig liegt das Problem bei der inhaltlichen Qualität der Seiten selbst.

Für eine systematische Diagnose eignen sich spezialisierte Crawl-Tools, die Redirect-Ketten, Fehler-URLs, Crawl-Tiefe und interne Verlinkungsstruktur sichtbar machen. Wie du solche Probleme gezielt findest und priorisierst, zeigt der Artikel zur SEO-Fehleranalyse mit Ahrefs.

Wichtig ist, die Ergebnisse nicht isoliert zu betrachten: Crawl-Budget-Probleme sind fast immer ein Symptom anderer technischer Schwachstellen auf der Website. Wer Soft-404-Fehler behebt, Weiterleitungsketten kürzt und Parameterseiten sauber kontrolliert, verbessert nicht nur das Crawling, sondern die technische Qualität der gesamten Website.