Das Crawl-Budget bezeichnet die Anzahl der Seiten, die ein Suchmaschinen-Bot wie Googlebot innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Für PrestaShop-Shops mit tausenden von Produktseiten ist es entscheidend, dieses Budget zu verstehen und zu optimieren, damit alle wichtigen Seiten zuverlässig indexiert werden.
Was ist das Crawl-Budget?
Google definiert das Crawl-Budget über zwei Komponenten: die Crawl-Rate-Begrenzung (Crawl Rate Limit) und die Crawl-Nachfrage (Crawl Demand). Die Crawl-Rate-Begrenzung gibt an, wie häufig Googlebot Ihre Website maximal crawlen darf, ohne den Server zu überlasten — sie hängt von der Antwortgeschwindigkeit Ihres Servers und den Gesundheitssignalen Ihrer Website ab. Die Crawl-Nachfrage spiegelt das Interesse von Google an Ihren Seiten wider, basierend auf ihrer Popularität, Aktualität und Autorität.
Warum das Crawl-Budget im E-Commerce entscheidend ist
Ein mittelgroßer Online-Shop erzeugt leicht zehntausende URLs: Produktseiten, Varianten, Kategorieseiten, Filterergebnisse, Paginierungsseiten und mehr. Googlebot verfügt über begrenzte Ressourcen. Wird das Crawl-Budget durch wertlose URLs verschwendet, riskieren Ihre wichtigen Produktseiten, seltener gecrawlt — oder bei Index-Updates übergangen — zu werden.
PrestaShop und die Facettennavigation
Wie Google Seiten für das Crawling priorisiert
Internes PageRank
Seiten mit den meisten internen Verlinkungen erhalten mehr Aufmerksamkeit von Googlebot. Eine starke interne Verlinkungsstruktur lenkt das Crawl-Budget auf Ihre Prioritätsseiten.
Aktualität des Inhalts
Häufig aktualisierte Seiten (neue Produkte, Preisänderungen) werden öfter erneut gecrawlt. Statische und ältere Seiten erhalten weniger Crawl-Besuche.
Popularität & Autorität
URLs mit externen Backlinks oder hohem organischen Traffic gelten als wichtiger und werden mit höherer Priorität gecrawlt.
So optimieren Sie Ihr Crawl-Budget
- Wertlose URLs über robots.txt sperren (Sortierparameter, tiefe Paginierung, Facettenfilter-URLs)
- Alle 404-Fehler und Weiterleitungsketten beheben, die das Budget verschwenden
- Eine aktualisierte XML-Sitemap in der Google Search Console einreichen, um Googlebot zu führen
- Canonical-Tags verwenden, um auf die Hauptversion von Duplikatseiten zu verweisen
- Serverantwortzeit verbessern, um das zulässige Crawl-Rate-Limit zu erhöhen
- Seiten mit geringem Wert entfernen oder mit noindex versehen (Filterseiten, Paginierungsduplikate)