Google ha recentemente pubblicato un nuovo documento che spiega come i diversi codici di stato HTTP (HTTP Status Codes) influenzino il modo in cui le pagine vengono segnalate al processo di indicizzazione. Il documento copre i 20 principali codici di stato che Googlebot incontra sul Web.

Gli HTTP Status Codes vengono generati dal server che ospita il sito quando risponde a una richiesta effettuata da un client, ad esempio un browser o un crawler. Ogni codice di stato HTTP ha un significato diverso, ma spesso il risultato della richiesta è lo stesso.

HTTP Status Codes 2xx (success)

• 200 (success) e 201 (created): Googlebot (il crawler che si occupa di scoprire nuove pagine) trasmette i contenuti al processo di indicizzazione. I sistemi di indicizzazione possono indicizzare i contenuti, anche ciò non è assicurato. 
• 202 (accepted): Googlebot attende i contenuti per un periodo di tempo limitato, poi trasmette ciò che ha ricevuto al processo di indicizzazione. Il timeout dipende dal dispositivo che effettua la richiesta, ad esempio Googlebot per smartphone potrebbe avere un timeout diverso rispetto a Googlebot per immagini.  
• 204 (no content): Googlebot segnala al processo di indicizzazione di non avere ricevuto contenuti.

HTTP Status Codes 3xx (redirects)

• 301 (moved permanently): Googlebot segue il reindirizzamento e il processo di indicizzazione utilizza il reindirizzamento come un indicatore forte del fatto che la destinazione di reindirizzamento sia quella canonica.
• 302 (found) e 303 (see other): Googlebot segue il reindirizzamento e il processo di indicizzazione utilizza il reindirizzamento come un indicatore debole del fatto che la destinazione di reindirizzamento sia quella canonica.
• 304 (not modified): Googlebot segnala al processo di indicizzazione che i contenuti sono uguali a quelli dell'ultima scansione.
• 307 (temporary redirect): Equivalente a 302.
• 308 (moved permanently): Equivalente a 301.

Googlebot segue fino a 10 passaggi di reindirizzamento dopodiché segnala un errore di reindirizzamento. Il numero di reindirizzamenti seguiti da Googlebot dipende dal dispositivo che effettua la richiesta; ad esempio, Googlebot per smartphone potrebbe avere un valore diverso rispetto a Googlebot per immagini.

HTTP Status Codes 4xx (clients errors)

• 400 (bad request), 401 (unauthorized), 403 (forbidden), 404 (not found), 410 (gone), 411 (length required): Googlebot segnala al processo di indicizzazione che i contenuti non esistono. Il processo di indicizzazione rimuove l'URL dall'indice se era stato indicizzato precedentemente. Le nuove pagine 404 trovate non vengono elaborate. La frequenza di scansione diminuisce gradualmente.
• 429 (too many requests): Googlebot considera il codice di stato 429come un indicatore che il server è sovraccarico e ciò è considerato un errore del server.

HTTP Status Codes 5xx (server errors)

• 500 (internal server error), 502 (bad gateway), 503 (service unavailable): Googlebot riduce la frequenza di scansione per il sito. La diminuzione nella frequenza di scansione è proporzionale al numero di singoli URL che restituiscono un errore del server. Il processo di indicizzazione di Google rimuove dall'indice gli URL che continuano a restituire un errore del server.