Het crawl budget is de tijd, die Google besteedt bij het crawlen van pagina’s op een webserver. Deze tijd is gelimiteerd, omdat Google wil voorkomen, dat de server wordt overbelast door de webcrawlers van Google.
Er is een crawl budget per webserver (per IP-adres). Als er meerdere websites op dezelfde server staan, geldt het crawl budget voor alle site bij elkaar. Intern spreekt Google niet van crawl budget, maar van host load. Het principe is hetzelfde; het aantal bezochte pagina’s hangt af van de belasting die de webserver aan kan.
Optimale indexatie
Meestal heeft Google voldoende tijd om alle pagina’s van een site te indexeren. Soms lukt dit niet, bijvoorbeeld als de webserver erg traag is of als een website veel dubbele inhoud bevat. Zorg daarom voor een voldoende snelle webserver en probeer dubbele inhoud te voorkomen.
Bij een gedeelde webserver, kunnen problemen in andere sites op dezelfde server overigens ook een negatieve invloed hebben op het aantal pagina’s dat Google crawlt.
