Il file robots.txt è una delle basi della SEO tecnica di cui dovreste sempre occuparvi. Vi aiuta a controllare il modo in cui i motori di ricerca effettuano il crawling del vostro sito, in modo da far apparire nei risultati di ricerca tutto ciò che è importante e da bloccare tutto ciò che non volete che venga visualizzato.

Perché è così importante controllare il crawling e l'indicizzazione delle pagine?

• Risparmiare il budget per il crawling. C'è un limite al numero di pagine che un bot di ricerca può elaborare in un determinato momento. Per assicurarsi che le pagine più importanti vengano scansionate e ricansionate regolarmente, è necessario escludere le pagine che non devono essere visualizzate nei risultati di ricerca.

• Impedire che le pagine tecniche vengano visualizzate nella ricerca. Ci sono molte pagine che il vostro negozio genera per comodità degli utenti: pagine di login, checkout, ricerca interna, ecc. Sono fondamentali per la UX, ma non sono necessarie per essere classificate nelle ricerche.

• Evitare i problemi di contenuto duplicato. Le pagine tecniche di cui abbiamo parlato possono creare duplicazioni: ad esempio, le diverse opzioni di ordinamento si presentano con URL diversi, ma mostrano gli stessi prodotti, solo in un ordine diverso. Non si vuole che queste pagine vengano coinvolte nelle classifiche, poiché i motori di ricerca non apprezzano i contenuti duplicati.

Come potete controllare l'indicizzazione delle pagine del vostro negozio?

Per dare valore alle vostre pagine importanti e facilitarne l'indicizzazione da parte dei bot di ricerca, dovreste sempre avere una sitemap aggiornata e corretta. Inoltre, è necessario curare il linking interno e far sì che le fonti esterne rimandino ai vostri contenuti, in modo che le vostre pagine appaiano più autorevoli agli occhi dei motori di ricerca.

Queste misure garantiscono praticamente il posizionamento delle pagine nei motori di ricerca, anche se non esiste un modo sicuro per assicurare l'indicizzazione al 100%.

Ciò che si può garantire al 100% è l'esclusione di alcune pagine che non si vuole far apparire nelle ricerche. A tale scopo, è possibile utilizzare la direttiva noindex nel file robots.txt o il meta tag robots. Sembra molto tecnico a prima vista, ma in realtà è molto semplice. Soprattutto per i commercianti di Shopify, poiché la piattaforma si occupa automaticamente della maggior parte dell'indicizzazione corretta.

Quindi, cosa si dovrebbe noindicizzare in un negozio Shopify?

Per i negozi online, ha senso bloccare l'indicizzazione dei seguenti tipi di pagine:

• Tutto ciò che è associato agli account utente. Queste pagine sono uniche per ogni cliente e non sono necessarie per la ricerca.
• Tutto ciò che è associato al checkout degli ospiti. Anche se gli utenti non accedono al proprio account e sono autorizzati ad acquistare come ospiti, le pagine con le fasi di checkout generate per loro non sono destinate alla ricerca.
• Navigazione sfaccettata e ricerca interna. Come abbiamo già detto, offrire questi URL ai bot di ricerca non farà altro che confonderli, prosciugare il vostro budget di crawling e creare problemi di contenuti duplicati.
• Prodotti che volete nascondere alla ricerca. Se non volete che alcuni prodotti vengano visualizzati nei risultati di ricerca, ad esempio articoli esauriti o articoli sensibili al tempo che non sono più rilevanti, potete nascondere i prodotti dalla ricerca nel file robots.txt di Shopify.

Robots.txt in Shopify

Per controllare il file robots.txt generato automaticamente, potete aggiungere il file /robots.txt al dominio del vostro negozio:

Cosa contiene di solito questo file? Indica un particolare bot di ricerca (il campo User-agent ) e fornisce direttive di crawling(Disallow significa bloccare l'accesso). Nell'esempio precedente, la prima serie di regole viene data a tutti i bot di ricerca (l'User-agent è impostato su *). A sua volta, la direttiva Disallow vieta il crawling delle pagine specificate. Nell'esempio, possiamo vedere che il file vieta il crawling delle pagine tecniche, come admin, cart, checkout e così via.

Il file Robots.txt include anche un link alla sitemap, utile ai crawler di ricerca per comprendere la struttura del sito e le priorità di indicizzazione.

Fino a poco tempo fa, Shopify non offriva alcuna flessibilità con questo file. Ma nel giugno 2021, ai commercianti di Shopify è stata data la possibilità di modificare il file robots.txt. Le regole predefinite sono per lo più sufficienti, ma potrebbero non considerare tutti i casi. Se si utilizza un'applicazione per la ricerca interna, spesso l'URL viene modificato e le regole predefinite non vengono applicate. Oppure, se si dispone di una navigazione sfaccettata, l'URL cambia in base a ciascun filtro scelto e le regole predefinite potrebbero non tenerne conto. È possibile aggiungere altre pagine e regole al file, specificare altri user agent, ecc.

Per conoscere le direttive esistenti che si possono applicare, consultare la guida di Google su robots.txt.

Inoltre, è bene ricordare che le nuove regole vengono introdotte di continuo. Ad esempio, all'inizio del 2022, Google ha introdotto un nuovo tag che controlla l'indicizzazione dei contenuti incorporati: indexifembedded. Può essere applicato se nel vostro negozio sono presenti alcuni widget inseriti tramite iframe o tag HTML simili e non volete che vengano indicizzati.

Come modificare il robots.txt su Shopify?

Nel codice del vostro tema, vedrete una serie di modelli (andate su Online Store > Temi > fate clic su Azioni del vostro tema corrente > scegliete Modifica codice > andate su Modelli). L'elenco dovrebbe contenere il file robots.txt.liquid.

Se, per qualche motivo, non avete il file, potete crearlo cliccando su Aggiungi nuovo modello e scegliendo robots.txt.

Ad esempio, blocchiamo la ricerca interna dall'indicizzazione: il modello avrà questo aspetto:

Per maggiori dettagli, consultare la pagina di aiuto di Shopify sulla modifica di robots.txt.

Si noti che anche se una pagina non è consentita nel robots.txt, può essere indicizzata se contiene collegamenti da fonti esterne. Quindi, ad esempio, se avete una vecchia pagina che ha ricevuto una discreta quantità di traffico in passato ma non è più rilevante per il vostro negozio, è meglio bloccarla con il meta tag robots o rimuoverla completamente.

Noindicizzazione dei contenuti di Shopify con il meta tag robots

Oltre a robots.txt, la direttiva noindex può essere inserita nella sezione <head> del codice del vostro tema con l'aiuto del tag robots meta. Il tag ha la seguente sintassi: <meta name="robots" content="noindex">.

Analogamente a come si modifica o si crea il codice robots.txt di Shopify, andare in theme.liquid nella sezione Layout. Ad esempio, ecco come apparirà se si aggiunge una regola per il noindex della pagina /nuova collezione:

In questo modo, nasconderete definitivamente una pagina dalla ricerca.

Si noti che è possibile utilizzare noindex con le direttive nofollow o follow insieme. Con follow, la pagina sarà bloccata dall'indicizzazione, ma consentirà ai bot di ricerca di scansionare altri link inseriti nella pagina, mentre con nofollow, sia la pagina stessa che tutti i link presenti non saranno accessibili ai bot di ricerca.

Noindicizzazione dei contenuti di Shopify con l'aiuto di applicazioni

Se tutto questo vi sembra troppo complicato, ci sono modi per controllare l'indicizzazione delle pagine in modo ancora più semplice, senza dover scrivere una sola riga di codice. Esistono diverse applicazioni SEO per Shopify che vi aiuteranno a nascondere i prodotti dalla ricerca nel vostro negozio Shopify o a bloccare altre pagine. Ad esempio, Sitemap Noindex SEO Tools costa 3,49 dollari al mese e funziona con tutti i tipi di pagine.

Migliorate il vostro SEO migliorando l'indicizzazione delle pagine

Questo è tutto: speriamo che abbiate capito meglio come funziona il robots.txt di Shopify e come usarlo a vostro vantaggio. Con l'aiuto di robots.txt e del meta tag robots, potete migliorare il controllo sull'indicizzazione delle pagine, prevenire i problemi di SEO e dare più valore alle vostre pagine più importanti, in modo che brillino nelle ricerche e attirino più visitatori.

Se cercate altri consigli SEO per Shopify, consultate la nostra guida SEO.

Infine, se avete bisogno di aiuto con i reindirizzamenti o con la SEO in generale, non esitate a contattarci: il team della nostra agenzia sarà lieto di aiutarvi.