Was ist Crawl-Budget?
Crawl-Budget beschreibt vereinfacht, wie viele URLs ein Suchmaschinen-Crawler innerhalb eines Zeitraums auf einer Website abrufen kann und möchte.
Es wird unter anderem von Serverkapazität, Website-Größe, URL-Qualität, Aktualität und unnötigen Varianten beeinflusst. Für kleine Websites ist Crawl-Budget meist kein vorrangiges Problem. Relevant wird es besonders bei großen Shops, Portalen oder Websites mit vielen Filtern und Parametern.
Warum relevant? Eine kontrollierte URL-Struktur lenkt Crawl-Ressourcen auf geschäftlich wichtige und aktuelle Inhalte.