Crawl budget: cos'è e come usarlo per migliorare il ranking

Se hai un sito online, sicuramente il tuo desiderio è quello di posizionare le tue pagine fra i primi risultati dei motori di ricerca. Ciò è fattibile, fondamentalmente, se il tuo sito piace a Google. In questo articolo parleremo del crawl budget, spiegheremo cos'è e come puoi aumentarlo per migliorare il ranking su Google e il rendimento del tuo sito.

Tutti gli sforzi di chiunque lavori con la SEO hanno lo stesso scopo: un buon ranking sui risultati del motori di ricerca, preferibilmente sulla prima pagina.

Ci sono molte cose che puoi fare, se miri a questo obiettivo: ricercare le parole chiave giuste, raccogliere le recensioni, ottenere più backlink, (...chi più ne ha più ne metta), e, ciò su cui ci concentreremo in questo articolo, sfruttare al meglio il crawl budget a tua disposizione e scoprire come aumentarlo.

Il concetto del crawl budget è molto tecnico; cercheremo di spiegare in modo facile e semplice da capire di cosa si tratta esattamente e come puoi ottimizzarlo.

Prima di iniziare, leggi la nostra guida gratuita su come trovare le parole chiave giuste per aumentare il traffico e le conversioni 👇

INDICE

1. Cos'è il crawl budget?
2. Come scoprire a quanto ammonta il tuo crawl budget
3. Come puoi convincere Google a tornare sulle tue pagine più spesso
4. Come ottimizzare il tuo crawl budget
   º 9 consigli per aumentare il crawl budget
   º Come diminuire l’intervallo tra una scansione e l’altra
5. Per riassumere

Cos’è il Crawl Budget?

Prima di tutto dobbiamo ancora spiegare brevemente tre termini chiave. Spesso, questi termini vengono usati come sinonimi, ma in verità hanno significati diversi.

Cosa si intende con scansione, indicizzazione e posizionamento di una pagina:

• Per prima cosa, il Googlebot scansiona una pagina. Questa può essere una nuova pagina con un nuovo contenuto o una pagina già esistente con un contenuto aggiornato.

• La pagina viene quindi indicizzata, ovvero entra nel database dei motori di ricerca e può apparire nella SERP.

• Infine, in termini di ranking, Google decide dove posizionare la pagina in risposta alla query di ricerca degli utenti.

Per Crawl Budget si intende il tempo che Google decide di investire per indicizzare e scansionare le pagine di un sito.

Approfondiamo subito questa definizione:

Responsabile della scansione di ogni pagina nel web è lo spider di Google, chiamato Googlebot, o crawler di Google. Il Googlebot effettua una volta al mese la deep-crawl e, quasi ogni giorno, la fresh-crawl.

Il Googlebot visita il maggior numero di URL possibili perché Google è affamato di contenuti: il suo scopo è quello di essere sempre aggiornato sui nuovi contenuti nel web per poter fornire alle query di ricerca degli utenti una risposta rilevante alle loro domande.

Il tempo che il Googlebot dedica all'indicizzazione e alla scansione delle tue pagine (e di tutte le altre) non è illimitato, al contrario, e non tutti gli URL riescono a venire scansionati regolarmente. Ecco perché riuscire a ottimizzare il tuo crawl budget si rivela cruciale: più le tue pagine sono di qualità, più queste sono facili da leggere, e più tempo ha il Googlebot per leggerne di ulteriori.

Più pagine indicizzate o scansionate dal Googlebot significa una maggiore possibilità di apparire fra i primi risultati della SERP.

Al contrario, se il Googlebot non scansiona una pagina, questa non verrà indicizzata e non apparirà affatto nella SERP.

Il Googlebot non perderà tempo e risorse per le pagine di cui pensa che la qualità non sia abbastanza alta, o se pensa che queste non portino nessun valore aggiuntivo alla ricerca degli utenti.

Le tre domande che a questo punto ti saranno sorte spontaneamente sono:

1. Il mio sito web piace a Google?

2. Quanto tempo dedica il Googlebot alle mie pagine?

3. Posso aumentare il mio crawl budget?

Nel prossimo capitolo forniremo le risposte.

💡 Il crawl budget è più importante per alcuni siti che per alti.

I piccoli siti che dispongono di poche pagine non si dovranno preoccupare. Più rilevante è per i siti più grandi, come i siti editoriali e i grandi e-Commerce, che hanno la necessità di mostrare agli utenti risultati sempre aggiornati e attuali.

Immagina ad esempio di seguire una partita di calcio: ovviamente ti aspetterai che i risultati che trovi nella SERP riportino il punteggio in tempo reale, e non quello di 15 minuti fa.

Migliora la visibilità delle tue pagine dei prodotti su Google in modo gratuito 👇

Come scoprire a quanto ammonta il tuo crawl budget

Per tenere sotto controllo le attività del Googlebot sul tuo sito, uno strumento utile e gratuito è la Google Search Console. Questo strumento ti permette di scoprire sia quante richieste al secondo il motore di ricerca dedica al tuo sito, sia quanto tempo passa tra una scansione e l’altra.

Scoprire le attività del Googlebot degli ultimi 90 giorni è semplicissimo. Puoi osservare le statistiche di scansione in questo modo:

• Accedi alla Google Search Console

• Clicca su ⚙️ Impostazioni in basso a sinistra

• Clicca su "Apri rapporto" accanto a "Statistiche di scansione"

Qui vedrai 3 valori:

• le richieste di scansione totali: la linea blu indica le richieste di scansione del sito nell'intervallo di tempo selezionato.

• le dimensioni totali di download (byte): la linea viola indica le dimensioni delle risorse e i file scaricati durante la scansione nell'intervallo di tempo selezionato.

• il tempo medio di risposta (ms): la linea arancione indica il tempo medio di risposta della pagina per recuperare i contenuti della pagina per una richiesta di scansione.

Per quanto riguarda le richieste di scansione si può affermare che maggiore è il valore meglio è. Per gli altri due valori vale il contrario. Ottimizzare il peso delle pagine permette sia al crawler, sia agli utenti di poterle navigare più velocemente.

Inoltre, un download più veloce significa più pagine che possono venire scansionate con il crawl budget a disposizione.

Sai già come impostare correttamente Google My Business? 👇

Come puoi convincere Google tornare sulle tue pagine più spesso

Per fortuna, se hai scoperto che il tuo crawl budget non è alto come speravi, ci sono dei semplici trucchi per convincere il crawler di Google a tornare più frequentemente sul tuo sito.

Google è curioso, non è mia abbastanza sazio di contenuti. Per convincerlo a tornare da te puoi seguire i seguenti punti:

1. Crea regolarmente nuovi contenuti. Attenzione alla qualità!

2. Aggiorna i tuoi contenuti con regolarità

3. Varia i tipi di contenuti. Per contenuti non si intende solo testi, ma tutto ciò che appare sulle tue pagine, come immagini, video, pdf, ecc.

4. Assicurati che l’organizzazione della tua Sitemap sia chiara e leggibile per Google, soprattutto se il tuo sito conta molte pagine. Un corretto collegamento delle tue pagine permette al Googlebot di non perdere tempo prezioso durante la loro scansione. Non scordare di sincronizzare la Sitemap nella Google Search Console.

5. Sfrutta i link interni per ogni tua pagina. In caso contrario il Googlebot, dopo aver scansionato una pagina che ne è priva, potrebbe arrivare a un “vicolo cieco”.

6. Più backlink hai, più è probabile che Google ti concederà più crawl budget. I backlink sono essenziali per aumentare la popolarità del tuo sito.

La popolarità di una pagina o di un sito è essenziale. Come dice Google nel suo blog:

“Gli URL più popolari su Internet tendono a essere sottoposti più spesso a scansione per tenerli costantemente aggiornati nel nostro indice.”

Un modo efficace per aumentare la popolarità del tuo sito è quello di ottimizzare la SEO Off-Page. Per approfondire il tema ti raccomandiamo la seguente lettura.

📣 Lettura consigliata: SEO Off-Page, definizione e strategie

Come ottimizzare il tuo crawl budget

Ore che hai seguito i consigli sopra elencati e sei riuscito a catturare l’attenzione di Google, è il momento di dedicarsi alla SEO, ovvero a come puoi ottimizzare il tuo crawl budget. Qui il concetto di ottimizzare è inteso come lo sfruttamento al massimo del “poco” tempo che Googlebot ci dedica.

Rischiare che il Googlebot perda del tempo prezioso, ad esempio, su pagine che non hanno un valore aggiunto per gli utenti o che presentano un contenuto duplicato è una mossa che renderà tutti i tuoi altri sforzi vani. Cosa che ovviamente vuoi evitare.

Tieni sempre a mente che una risorsa popolare, dal contenuto recente o aggiornato fa aumentare il crawl budget.

Al contrario, i contenuti duplicati, di bassa qualità o non più up-to-date, le pagine 404, ecc fanno diminuire il crawl budget.

Anche se sembra superfluo dirlo, bisogna specificare che creare un contenuto di bassa qualità è controproducente.

Infatti, c’è il pericolo che il Googlebot perda tempo a scansionare proprio quelle pagine, anziché potersi dedicare a quelle tue pagine che sono di qualità, popolari e aggiornate.

Google è già molto bravo nel suo lavoro, ma puoi dargli una mano rendendo il suo lavoro più facile e (soprattutto) veloce per migliorare il rendimento del tuo sito.

A tal fine, ci sono due valori del crawl budget che puoi ottimizzare:

1. aumentare il crawl budget

2. diminuire l’intervallo ti tempo tra una scansione e l’altra.

Segui 8 passi per migliorare la SEO 👇

9 consigli per aumentare il crawl budget

1. Scegli un server veloce

La velocità è essenziale, dato che, come abbiamo già detto, il tempo che Googlebot ci dedica non è illimitato. Ottimizzare i tempi di download di una pagina significa concedere al crawler di Google più tempo per dedicarsi ad altre. Alcuni consigli che puoi seguire a tal fine, sono:

• Investi in un server di qualità

• Ottimizza il codice pagine per renderle più leggibili ed elimina quelli superflui

• Ottimizza le immagini dei prodotti comprimendole (ma senza sacrificarne la qualità, Tinyjpg è un esempio di software gratuito per ridurre le dimensioni dei file anche oltre il 70%.)

2. (Ri)organizza la struttura del sito

Sicuramente sarai familiare con questa immagine, che mostra come un sito dovrebbe essere idealmente strutturato. Una struttura chiara e lineare delle pagine del tuo sito permette di sfruttare il tuo crawl budget, perché ormai sappiamo che più tempo equivale a più pagine scannerizzate o indicizzate. Fai attenzione a:

• Seguire la famosa regola dei 3 clic, secondo la quale il massimo dei clic necessari all'utente per raggiungere la loro pagina di interesse dalla homepage sia, appunto, tre.

• Non avere pagine a vicolo cieco (quelle pagine a cui nessun link interno o esterno rimanda).

• Usa gli URL canonici per il tuo sito nella Sitemap. Il tag link rel Canonical non aiuta a risparmiare crawl budget ma permette di far capire nel tempo a Google quale versione della pagina dovrà considerare (quale URL)

3. Usa i link interni

I link interni, che servono sostanzialmente ad approfondire un argomento, devono puntare alle pagine che desideri vengano prese in maggior considerazione dal Googlebot.

• Indicando le tue pagine preferite, hai una maggiore possibilità che il crawler di Google finisca per scannerizzarle. Google infatti ha una considerazione maggiore delle pagine che contengono molti link (sia interni che esterni).

• Il crawler non finirà in un “vicolo cieco” dopo aver scannerizzato una pagina che ne è sprovvista.

4. Sistema i link rotti

I link rotti non solo ti penalizzano in termini di ranking ma sprecano il preziosissimo crawl budget che si ha a disposizione. Evita quindi codici di stato HTTP diversi da 200.

🔗 Lettura consigliata: Errori 404, individuarli, comprenderli e correggerli

5. Utilizza i link no-follow

I link no-follow ti permettono di risparmiare crawl budget perché sono quei link che dicono al Googlebot di non sprecare tempo a scansionarli.

Possono essere quelle pagine che ritieni essere tra le meno importanti del tuo sito o che sono già collegate all'interno di un tema, categoria o simile e non deve essere scannerizzata più volte.

6. Ottimizza txt

Il robots.txt, un semplice file di testo, è utile a bloccare pagine non interessanti. Esso infatti fornisce una guida del contenuto di ogni pagina e indica a Google come eseguirne la scansione.

Il robots.txt è fondamentale per non fare perdere tempo al crawler con quelle pagine che non devono essere scannerizzate (come le pagine private o admin), e per indicargli quelle che invece deve tenere in considerazione.

7. Aggiorna i tuoi contenuti

Non lo si può ripetere mai abbastanza: rinfrescare i tuoi contenuti porta ad un aumento del tempo che Google ti dedica.

📣 Lettura consigliata: Come aggiornare i contenuti per migliorare la SEO?

8. Raccogli le recensioni

Ogni recensione significa un nuovo contenuto, e una pagina dinamica e ricca di nuovi contenuti è una pagina che Google sa apprezzare. Saper sfruttare questo contenuto generato dagli utenti ti aiuta non solo a migliorare il tuo ranking, ma anche a rafforzare il tuo marchio e a rassicurare i tuoi futuri clienti.

Per approfondire 👇

9. Elimina i contenuti inutili o doppi

Scartare tutte quelle pagine che non sono più rilevanti, attuali (ad esempio su eventi che risalgono a diversi anni fa) o che per qualche motivo non ricevono più traffico, ti eviterà di sprecare il tuo crawl budget.

Se non vuoi perdere del tutto il contenuto di tali pagine, puoi spostarlo su pagine simili o nuove.

A questo proposito, non bisogna dimenticare i backlink. Se altre pagine rimandano a una che stai per eliminare, ci sono due opzioni: un redirect 301, che comunica al motore di ricerca che la pagina è accessibile da un altro URL, o chiedere di cambiare direttamente l'URL del backlink.

🍽️ Lettura consigliata: Cannibalizzazione dei contenuti, cos'è e come si evita?

Come diminuire l’intervallo tra una scansione e l’altra

L’intervallo di tempo fra una scansione e l’altra è collegato all'aumento del crawl budget.

Aggiornando regolarmente i tuoi contenuti, potrai notare un aumento delle scansioni del Googlebot: ogni volta che il Googlebot visita una pagina e trova dei contenuti rivisti, si ottiene un aumento del crawl budget.

💡 Ripubblica una pagina solamente in seguito a un aggiornamento notevole. Se Google riconosce che il contenuto è lo stesso o è molto simile, ti penalizzerà con una scansione meno frequente.

Per riassumere

Gestire e aumentare il tuo crawl budget è uno dei segreti per migliorare il ranking e il rendimento di un sito: evita la dispersione di energie e di risorse inutilmente. Se il tuo contenuto è di qualità e facile da leggere, puoi ottenere più tempo e una scansione più frequente.

Come puoi continuare a migliorare il tuo ranking su Google? Segui i consigli nella nostra check-list gratuita 👇

📣 Lettura consigliata: Aumentare l'autorità del dominio per migliorare il ranking