Il Crawl Budget è il budget di risorse che lo spider di Google, Googlebot, alloca per effettuare la scansione di ciascun sito web. Più alto è questo valore maggiore è il trust che Google attribuisce al sito.

I valori che concorrono a determinare il Crawl Budget sono tre:

• Il numero di Pagine sottoposte quotidianamente a scansione;
• I Kilobyte scaricati giornalmente;
• Il Tempo trascorso per il download di una pagina.

Per ottimizzare l'attività di Googlebot e fare in modo che il Crawl Budget sia sufficiente per la scansione dei contenuti, anche quelli posti più in profondità nella struttura di un sito web, è possibile mettere in pratica queste attività:

• aumentare il trust del sito cercando di acquisire link in entrata tematici e di qualità;
• aggiornare con frequenza i contenuti del sito;
• migliorare la velocità di caricamento delle pagine;
• ottimizzare la struttura del sito web evitando ad esempio i contenuti duplicati e gli errori Not Found
• accertarsi che il servizio di hosting risponda rapidamente e non abbia colli di bottiglia.