Crawl budget: cosa è e come aumentarlo per migliorare il tuo ranking

Se hai un sito online, sicuramente il tuo desiderio è quello di posizionare le tue pagine fra i primi risultati dei motori di ricerca. Ciò è fattibile, fondamentalmente, se piaci a Google. In questo articolo parleremo di crawl budget, spiegheremo cosa è e cosa ha a che fare con l’aumento della tua visibilità in termini di ranking.

blogTitle-web_crawler-w680h280

Tutti gli sforzi di chiunque lavori con la SEO hanno solitamente lo stesso scopo: una buona posizione fra i risultati del motori di ricerca, preferibilmente sulla prima pagina.

Ci sono molte cose che puoi fare ed ottimizzare se miri a questo obiettivo: ricercare le parole chiave, creare un buon contenuto, usare i link esterni ed interni, (...chi più ne ha più ne metta), e, ciò su cui ci concentreremo in questo articolo, sfruttare al meglio il tuo crawl budget e aumentarlo.

Il concetto del crawl budget è molto tecnico; cercheremo di spiegare in modo facile e semplice da capire di cosa si tratta esattamente e come puoi ottimizzarlo.

INDICE:

1. Cos'è il crawl budget?

2. Come scoprire a quanto ammonta il tuo crawl budget

3. Come far tornate Google sulle tue pagine più spesso

4. Come ottimizzare il tuo crawl budget

5. Conclusione

Cos’è il Crawl Budget?

blogimage-web_crawler

Prima di iniziare dobbiamo ancora spiegare brevemente tre termini chiave. Spesso, questi termini vengono usati come sinonimi, ma in verità hanno significati diversi.

Cosa si intende con scansione, indicizzazione e posizionamento di una pagina:

  • Prima di tutto, il Googlebot scansiona una pagina. Questa può essere una nuova pagina con un nuovo contenuto o una pagina già esistente con un contenuto aggiornato.

  • La pagina viene quindi indicizzata, ovvero entra nel database dei motori di ricerca e può apparire nella SERP.

  • Infine, in termini di ranking, Google decide dove posizionare la pagina in risposta alla query di ricerca degli utenti.

Detto ciò, possiamo iniziare.


Per Crawl Budget si intende il tempo che Google decide di investire per indicizzare e scansionare le pagine di un sito.

Approfondiamo subito questa definizione:

Responsabile della scansione di ogni pagina nel web è lo spider di Google, chiamato Googlebot. Il Googlebot effettua una volta al mese la deep-crawl e, quasi ogni giorno, la fresh-crawl.

Il Googlebot visita il maggior numero di URL possibili perché Google è affamato di contenuti: il suo scopo è quello di essere sempre aggiornato sui nuovi contenuti nel web per poter fornire alle query di ricerca degli utenti una risposta rilevante alle loro domande.

Il tempo che il Googlebot dedica all'indicizzazione ed alla scansione delle tue pagine (e di tutte le altre) non è illimitato, al contrario, e non tutti gli URL riescono a venire scansionati regolarmente. Ecco perché riuscire ad ottimizzare il tuo crawl budget si rivela cruciale: più le tue pagine sono di qualità, più queste sono facili da leggere, e più tempo ha il Googlebot per leggerne di ulteriori.

Più pagine indicizzate o scansionate dal Googlebot significa una maggiore possibilità di apparire fra i primi risultati della SERP.

Al contrario, se il Googlebot non scansiona una pagina, questa non verrà indicizzata e non apparirà affatto nella SERP.

Il Googlebot non perderà tempo e risorse per le pagine di cui pensa che la qualità non sia abbastanza alta, o se pensa che queste non portino nessun valore aggiuntivo alla ricerca degli utenti.

Le domande che a questo punto ti saranno sorte spontaneamente sono:

Il mio sito web piace a Google?
Quanto tempo dedica il Googlebot alle mie pagine?
Posso aumentare il mio crawl budget?

Nel prossimo capitolo forniremo le risposte.

Prima però c’è da accennare ancora al fatto che il crawl budget non è per tutti. I piccoli siti che dispongono di poche pagine non si dovranno preoccupare. Più rilevante è per i siti più grandi, come i siti editoriali e i grandi e-Commerce, che hanno la necessità di mostrare agli utenti risultati sempre aggiornati ed attuali.

Immagina ad esempio di seguire una partita di calcio: ovviamente ti aspetterai che i risultati che trovi nella SERP riportino il punteggio in tempo reale, e non quello di 15 minuti fa.

Come scoprire a quanto ammonta il crawl budget

clessidra

Per tenere sotto controllo le attività del Googlebot sul tuo sito, uno strumento utile e gratuito è la Google Search Console. Questo strumento ti permette di scoprire sia quante richieste al secondo il motore di ricerca dedica al tuo sito, sia quanto tempo passa tra una scansione e l’altra.

Scoprire le attività del Googlebot degli ultimi 90 giorni è semplicissimo. Puoi osservare le statistiche di scansione in questo modo:

  • Accedi alla Google Search Console

  • Clicca su Strumenti e rapporti precedenti

  • Clicca su Statistiche scansione

statistiche-scansione

Vedrai 3 grafici affiancati da 3 valori (alto, medio, basso). Il primo grafico mostra le pagine scansionate al giorno dal Googlebot, il secondo mostra i kilobyte scaricati giornalmente, e il terzo il tempo in millisecondi trascorso per il download di una pagina.

Per il primo grafico, si può affermare che maggiore è il valore meglio è, mentre per il secondo e il terzo vale il contrario. Ottimizzare il peso delle pagine permette sia al crawler, sia agli utenti di poterle navigare più facilmente.

Inoltre, un download più veloce significa più pagine che possono venire scansionate con il crawl budget a disposizione.

Come puoi convincere Google tornare sulle tue pagine più spesso?

Per fortuna, se hai scoperto che il tuo crawl budget non è altissimo, non dovrai disperarti. Ci sono dei semplici trucchi per convincere lo spider di Google a considerarti di più.

Google è curioso, non è mia abbastanza sazio di contenuti. Per convincerlo a tornare da te puoi seguire i seguenti punti:

  1. Crea nuovi contenuti (di qualità!) regolarmente

  2. Aggiorna regolarmente i tuoi contenuti (nuovi e vecchi)

  3. Varia i tipi di contenuti. Per contenuti non si intende solo testi, ma tutto ciò che appare sulle tue pagine, come immagini, video, pdf…

  4. Assicurati che l’organizzazione della tua Sitemap sia chiara e leggibile per Google, soprattutto se il tuo sito è molto grande. Un corretto collegamento delle tue pagine permette al Googlebot di non perdere tempo prezioso durante la loro scansione. Non scordare di sincronizzare la Sitemap nella Google Search Console.

  5. Sfrutta i link interni per ogni tua pagina. In caso contrario il Googlebot, dopo aver scansionato una pagina che ne è priva, potrebbe arrivare ad un “vicolo cieco”.

  6. Più backlink hai, più è probabile che Google considererà maggiormente le tue pagine. I backlink sono essenziali per aumentare la popolarità del tuo sito.

La popolarità di una pagina o di un sito è essenziale. Come dice Google stesso nel suo blog, “Gli URL più popolari su Internet tendono ad essere scansionati più spesso per essere mantenuti più freschi nel nostro indice.”

Come puoi ottimizzare il tuo crawl budget?

blogimage-web_crawler-2

Ore che hai seguito i consigli sopra elencati e sei riuscito a catturare l’attenzione di Google, è il momento di dedicarsi alla SEO, ovvero a come puoi ottimizzare il tuo crawl budget. Qui il concetto di ottimizzare è inteso come lo sfruttamento al massimo del “poco” tempo che Googlebot ci dedica.

Rischiare che il Googlebot perda del tempo prezioso, ad esempio, su pagine che non hanno un valore aggiunto per gli utenti o che presentano un contenuto duplicato è una mossa che renderà tutti i tuoi altri sforzi vani. Cosa che ovviamente vuoi evitare.

Tieni sempre questo concetto a mente:

Una risorsa popolare, dal contenuto recente o aggiornato fa aumentare il crawl budget.

Al contrario, i contenuti duplicati, di bassa qualità o non più up-to-date, le pagine 404, ecc fanno diminuire il crawl budget.

Anche se può sembrare palese, bisogna specificare che creare un contenuto di bassa qualità è controproducente.

Infatti, c’è il pericolo che il Googlebot perda tempo a scansionare proprio quelle pagine, anziché potersi dedicare a quelle tue pagine che sono di qualità, popolari ed aggiornate.

Google è già molto bravo nel suo lavoro, ma puoi dargli una mano rendendo il suo lavoro più facile e (soprattutto) veloce per favorire il tuo sito.

A tal fine, ci sono due valori del crawl budget che puoi ottimizzare: aumentare i crawl budget e diminuire l’intervallo ti tempo tra una scansione e l’altra.

9 consigli per ottimizzare e aumentare il crawl budget

  1. Un server veloce.

La velocità è essenziale, dato che, come abbiamo già detto, il tempo che Googlebot ci dedica non è limitato. Ottimizzare i tempi di download di una pagina significa concedere al Googlebot più tempo per dedicarsi ad altre. Alcuni consigli che puoi seguire a tal fine, sono:

  • Investire in un server di qualità

  • Ottimizzare il codice pagine per renderle più leggibili

  • Comprimere le immagini (ma senza sacrificarne la qualità, Tinyjpg è un esempio di software gratuito per ridurre le dimensioni dei file anche oltre il 70%.)

  1. Organizzare (o rivedere) la struttura del sito

blogimage-web_crawler-3

Sicuramente sarai familiare con questa immagine, che mostra come un sito dovrebbe essere idealmente strutturato. Una struttura chiara e lineare delle pagine del tuo sito permette di sfruttare il tuo crawl budget, perché il Googlebot (e ormai sappiamo che più tempo equivale a più pagine scannerizzate o indicizzate). Fai attenzione a:

  • Seguire la regola dei famosi 3 clic, secondo la quale il massimo dei clic necessari all'utente per raggiungere la loro pagina di interesse dalla homepage sia, appunto, tre.

  • Non avere pagine a vicolo cieco (quelle pagine a cui nessun link interno o esterno rimanda).

  • Usa gli URL canonici per il tuo sito nella Sitemap. Il tag link rel Canonical non aiuta a risparmiare crawl budget ma permette di far capire nel tempo a Google quale versione della pagina dovrà considerare (quale URL)

  1. Usare i link interni

I link interni, che servono sostanzialmente ad approfondire un argomento, devono puntare alle pagine che desideri vengano prese in maggior considerazione dal Googlebot.

  • Indicando le tue pagine preferite, hai una maggiore possibilità che il crawler di Google finisca per scannerizzarle. Google infatti ha una considerazione maggiore delle pagine che contengono molti link (sia interni che esterni).

  • Il crawler non finirà in un “vicolo cieco” dopo aver scannerizzato una pagina che ne è sprovvista.

come ottimizzare il collegamento interno di uno shop

  1. Sistemare i link rotti

I link rotti non solo ti penalizzano in termini di ranking, ma sprecano anche il preziosissimo crawl budget che si ha a disposizione. Evita quindi status cose diversi da 200.

  1. Utilizzare i link no follow

I link no follow ti permettono di risparmiare crawl budget perché sono quei link che dicono al Googlebot di non sprecare tempo a scansionarli. Possono essere quelle pagine che ritieni essere tra le meno importanti del tuo sito o che sono già collegate all’interno di un tema, categoria o simile e non deve essere scannerizzata più volte.

  1. Ottimizzare txt

Il robots.txt, un semplice file di testo, è utile a bloccare pagine non interessanti. Esso infatti fornisce una guida del contenuto di ogni pagina ed indica a Google come eseguirne la scansione.

Il robots.txt è fondamentale per non fare perdere tempo al crawler con quelle pagine che non devono essere scannerizzate (come le pagine private o admin), e per indicargli quelle che invece deve tenere in considerazione.

  1. Aggiornare i tuoi contenuti

Non lo si può ripetere mai abbastanza: rinfrescare i tuoi contenuti porta ad un aumento del tempo che Google ti dedica.

  1. Raccogliere le recensioni dei clienti

Ogni recensione significa un nuovo contenuto, e una pagina dinamica e ricca di nuovi contenuti è una pagina che Google sa apprezzare. Saper sfruttare questo contenuto generato dagli utenti ti aiuta non solo a migliorare il tuo ranking, ma anche a rafforzare il tuo marchio e a rassicurare i tuoi futuri clienti.

stelle recensioni TS

  1. Eliminare i contenuti inutili/doppi

Scartare tutte  quelle pagine che non sono più rilevanti, rilevanti (es fiere passate) o che per qualche motivo non ricevono più traffico, ti eviterà di sprecare il tuo crawl budget. Se non vuoi perdere del tutto il contenuto di tali pagine, puoi spostarlo su pagine simili o nuove.

A questo proposito, non bisogna dimenticare i backlink. Se altre pagine rimandano ad una che stai per eliminare, ci sono due opzioni: un redirect 301, che comunica al motore di ricerca che la pagina è accessibile da un altro URL, o chiedere di cambiare direttamente l'URL del backlink.

Come diminuire l’intervallo tra una scansione e l’altra:

L’intervallo di tempo fra una scansione e l’altra è intrinseca all'aumento del crawl budget.

Aggiornando regolarmente i tuoi contenuti, potrai notare un aumento delle scansioni del Googlebot: ogni volta che il Googlebot visita una pagina e trova dei contenuti rivisti, si ottiene un aumento del crawl budget.

Ma note bene: ripubblica una pagina solamente in seguito ad un aggiornamento notevole. Se Google riconosce che il contenuto è lo stesso o è molto simile ti penalizzerà con una scansione meno frequente.

Conclusione

Gestire ed aumentare il tuo crawl budget è quasi il segreto del successo. Se il tuo contenuto è buono e le tue pagine sono leggibili, una scansione più frequente porta quasi sicuramente ad un aumento di visibilità e popolarità, valori che Google apprezza.

Quello che devi tenere sempre a mente parlando di crawl budget è che dovrai evitare ad ogni costo la dispersione di energie e di risorse inutilmente.

Come puoi migliorare ulteriormente il tuo ranking su Google? Scoprilo nel nostro articolo o seguendo i consigli nella nostra check-list gratuita:

check-list seo ranking

Lettura consigliata: Ottimizzazione SEO: ecco la guida ultimativa al ranking

0 commenti