Das Crawl Budget beschreibt vereinfacht, wie viele URLs einer Website Suchmaschinen-Bots in einem bestimmten Zeitraum abrufen und verarbeiten. Besonders bei großen Websites mit vielen Unterseiten ist das relevant.
Wenn eine Seite viele doppelte, unnötige oder technisch problematische URLs hat, wird Crawling verschwendet. Dann kann es passieren, dass wichtige Seiten langsamer oder seltener erfasst werden.
Ein sauberes URL-Konzept, funktionierende interne Verlinkung, sinnvolle Indexierungsregeln und gute technische Performance helfen dabei, das vorhandene Crawl Budget besser zu nutzen.