Il file robots.txt è uno degli elementi fondamentali della SEO tecnica di cui dovresti sempre occuparti. Ti aiuta a controllare come i motori di ricerca scansionano il tuo sito, assicurandoti che tutto ciò che è importante appaia nei risultati di ricerca e che tutto ciò che non vuoi mostrare venga bloccato.
Perché è così importante controllare la scansione e l'indicizzazione delle pagine?
- Risparmiare il budget di scansione. Esiste un limite al numero di pagine che un bot di ricerca può elaborare in un dato momento. Per assicurarti che le tue pagine più importanti vengano scansionate e indicizzate regolarmente, dovresti escludere quelle che non devono apparire nei risultati di ricerca.
- Impedire che le pagine tecniche appaiano nella ricerca. Il tuo negozio genera molte pagine per comodità degli utenti: login, checkout, ricerca interna, ecc. Sono cruciali per l'esperienza utente, ma non devono essere indicizzate.
- Evitare problemi di contenuti duplicati. Le pagine tecniche menzionate possono creare duplicati: ad esempio, diverse opzioni di ordinamento generano URL differenti pur mostrando gli stessi prodotti. Non vuoi che queste pagine influenzino il ranking, poiché i motori di ricerca penalizzano i contenuti duplicati.
Come puoi controllare l'indicizzazione delle pagine del tuo negozio?
Per dare valore alle tue pagine importanti e facilitarne l'indicizzazione, dovresti sempre avere una sitemap aggiornata e corretta. Inoltre, cura i link interni e ottieni link da fonti esterne per far apparire le tue pagine più autorevoli agli occhi dei motori di ricerca.
Queste misure garantiscono quasi certamente che le tue pagine vengano indicizzate, sebbene non esista un metodo infallibile per assicurare un'indicizzazione al 100%.
Ciò che puoi garantire al 100% è l'esclusione di pagine che non vuoi mostrare nei risultati. Per farlo, puoi usare la direttiva noindex nel file robots.txt o nel meta tag robots. Sembra tecnico, ma è molto semplice, specialmente per i commercianti Shopify, dato che la piattaforma gestisce automaticamente gran parte dell'indicizzazione.
Quindi, cosa dovresti impostare come noindex su un negozio Shopify?
Per i negozi online, ha senso bloccare l'indicizzazione dei seguenti tipi di pagine:
- Tutto ciò che riguarda gli account utente. Queste pagine sono uniche per ogni cliente e non servono nella ricerca.
- Tutto ciò che riguarda il checkout come ospite. Anche se gli utenti non accedono al proprio account, le pagine con fasi di checkout generate per loro non sono destinate alla ricerca.
- Navigazione a faccette e ricerca interna. Offrire questi URL ai bot di ricerca li confonderà, consumerà il tuo budget di scansione e creerà problemi di contenuti duplicati.
- Prodotti che vuoi nascondere dalla ricerca. Se non vuoi che certi prodotti appaiano nei risultati, come articoli esauriti o prodotti stagionali non più rilevanti, puoi nasconderli tramite il file robots.txt di Shopify.
Robots.txt in Shopify
Per controllare il file robots.txt generato automaticamente, puoi aggiungere /robots.txt al dominio del tuo negozio:
Cosa contiene solitamente questo file? Indica un bot di ricerca specifico (campo User-agent) e fornisce direttive di scansione (Disallow significa bloccare l'accesso). Nell'esempio, il primo set di regole si applica a tutti i bot (User-agent impostato su *). La direttiva Disallow vieta la scansione di pagine tecniche come admin, carrello, checkout, ecc.
Il file robots.txt include anche un link alla tua sitemap, utile ai crawler per comprendere la struttura del sito e le priorità di indicizzazione.
Fino a poco tempo fa, Shopify non offriva alcuna flessibilità con questo file. Tuttavia, nel giugno 2021, ai commercianti Shopify è stata data la possibilità di modificare il file robots.txt. Le regole predefinite sono solitamente sufficienti, ma potrebbero non coprire tutti i casi. Se utilizzi un'app per la ricerca interna, spesso l'URL viene modificato e le regole predefinite non vengono applicate. Oppure, se disponi di una navigazione a faccette, l'URL cambia in base a ogni filtro selezionato e le regole predefinite potrebbero non tenere conto di tutto. Puoi aggiungere ulteriori pagine e regole al tuo file, specificare più user agent, ecc.
Per saperne di più sulle direttive applicabili, consulta la guida di Google sul file robots.txt.
Inoltre, tieni presente che compaiono continuamente nuove regole. Ad esempio, all'inizio del 2022, Google ha introdotto un nuovo tag che controlla l'indicizzazione dei contenuti incorporati: indexifembedded. Può essere applicato se nel tuo negozio sono presenti widget inseriti tramite iframe o tag HTML simili che non desideri vengano indicizzati.
Come modificare il file robots.txt su Shopify?
Nel codice del tuo tema troverai una serie di modelli (vai su Negozio online > Temi > clicca su Azioni in corrispondenza del tuo tema attuale > scegli Modifica codice > vai su Modelli). L'elenco dovrebbe contenere il file robots.txt.liquid.
Se per qualche motivo il file non fosse presente, puoi crearlo cliccando su Aggiungi un nuovo modello e selezionando robots.txt.
Ad esempio, blocchiamo l'indicizzazione della ricerca interna: nel modello apparirà così:
Consulta la pagina di assistenza di Shopify sulla modifica del file robots.txt per ulteriori dettagli.
❗ Tieni presente che, anche se una pagina non è consentita nel file robots.txt, può comunque essere indicizzata se riceve link da fonti esterne. Quindi, ad esempio, se hai una vecchia pagina che in passato ha ricevuto un buon traffico ma non è più pertinente per il tuo negozio, è meglio bloccarla con il meta tag robots o rimuoverla completamente.
Esclusione dall'indicizzazione dei contenuti Shopify con il meta tag robots
Oltre al file robots.txt, la direttiva noindex può essere inserita nella sezione <head> del codice del tuo tema tramite il meta tag robots. Il tag ha la seguente sintassi: <meta name=”robots” content=”noindex”>.
Analogamente a come modifichi o crei il codice robots.txt di Shopify, vai su theme.liquid nella sezione Layout. Ad esempio, ecco come apparirà se aggiungi una regola per escludere dall'indicizzazione la tua pagina /new-collection:
In questo modo, nasconderai definitivamente una pagina dai risultati di ricerca.
❗ Tieni presente che puoi utilizzare noindex insieme alle direttive nofollow o follow. Con follow, la tua pagina verrà esclusa dall'indicizzazione ma consentirà ai bot di ricerca di scansionare altri link presenti su quella pagina, mentre con nofollow, sia la pagina stessa che tutti i link in essa contenuti non saranno accessibili ai bot di ricerca.
Esclusione dall'indicizzazione dei contenuti Shopify tramite app
Se tutto questo ti sembra troppo complicato, esistono modi ancora più semplici per controllare l'indicizzazione delle tue pagine, senza dover scrivere una sola riga di codice. Esistono diverse app SEO per Shopify che ti aiuteranno a nascondere i prodotti dalla ricerca nel tuo negozio Shopify o a bloccare qualsiasi altra pagina. Ad esempio, Sitemap Noindex SEO Tools costa 3,49 $ al mese e funziona con tutti i tipi di pagine.
Migliora la tua SEO ottimizzando l'indicizzazione delle pagine
Tutto qui: speriamo che ora tu abbia una comprensione migliore di come funziona il file robots.txt di Shopify e di come utilizzarlo a tuo vantaggio. Con l'aiuto del file robots.txt e del meta tag robots, puoi migliorare il controllo sull'indicizzazione delle pagine, prevenire problemi SEO e dare più valore alle tue pagine più importanti, affinché risaltino nei risultati di ricerca e attirino più visitatori.
Se cerchi altri consigli SEO per Shopify, consulta la nostra guida SEO.
Infine, se hai bisogno di assistenza con i redirect o con la SEO in generale, non esitare a contattarci: il nostro team di agenzia sarà lieto di aiutarti.
