Le fichier robots.txt est l'une des bases du référencement technique dont vous devez toujours vous préoccuper. Il vous aide à contrôler la manière dont les moteurs de recherche explorent votre site, afin que tout ce qui est important apparaisse dans les résultats de recherche et que tout ce que vous ne souhaitez pas y voir apparaître soit bloqué.

Pourquoi est-il si important de contrôler l'exploration et l'indexation de vos pages ?

• Pour économiser le budget d'exploration. Le nombre de pages qu'un robot de recherche peut traiter en un temps donné est limité. Pour vous assurer que vos pages les plus importantes sont explorées et ré-explorées régulièrement, vous devez exclure les pages qui n'ont pas besoin d'être affichées dans les résultats de recherche.

• Empêcher les pages techniques d'apparaître dans les résultats de recherche. Votre boutique génère de nombreuses pages pour faciliter la tâche des utilisateurs : pages de connexion, de paiement, de recherche interne, etc. Elles sont essentielles pour l'interface utilisateur, mais ne sont pas nécessaires pour être classées dans les résultats de recherche.

• Éviter les problèmes de contenu dupliqué. Les pages techniques que nous venons de mentionner peuvent créer des doublons : par exemple, différentes options de tri seront proposées à des URL différentes mais présenteront les mêmes produits, simplement dans un ordre différent. Il n'est pas souhaitable que ces pages interviennent dans le classement, car les moteurs de recherche n'apprécient pas le contenu dupliqué.

Comment contrôler l'indexation des pages de votre boutique ?

Pour donner de la valeur à vos pages importantes et faciliter leur indexation par les moteurs de recherche, vous devez toujours disposer d'un plan de site correct et actualisé. De plus, veillez à créer des liens internes et à inciter les sources externes à créer des liens vers votre contenu afin que vos pages fassent davantage autorité aux yeux des moteurs de recherche.

Ces mesures garantissent pratiquement le classement de vos pages dans les moteurs de recherche, bien qu'il n'y ait pas de moyen sûr d'assurer une indexation à 100 %.

Ce que vous pouvez garantir à 100 %, c'est l'exclusion de certaines pages que vous ne souhaitez pas voir apparaître dans les moteurs de recherche. Pour ce faire, vous pouvez utiliser la directive noindex dans le fichier robots.txt ou la balise méta robots. Cela semble très technique à première vue, mais c'est en fait très facile. En particulier pour les marchands Shopify, car la plateforme prend automatiquement en charge la majeure partie de l'indexation.

Alors, que faut-il noindexer sur une boutique Shopify ?

Pour les boutiques en ligne, il est logique de bloquer l'indexation des types de pages suivants :

• Tout ce qui est associé aux comptes d'utilisateurs. Ces pages sont propres à chaque client et ne sont pas nécessaires à la recherche.
• Tout ce qui est associé à la caisse des visiteurs. Même si les utilisateurs ne se connectent pas à leur compte et sont autorisés à acheter en tant qu'invités, les pages contenant des étapes de paiement générées pour eux ne sont pas destinées à la recherche.
• Navigation à facettes et recherche interne. Comme nous l'avons déjà mentionné, proposer ces URL aux robots de recherche ne fera que les embrouiller, épuiser votre budget d'exploration et créer des problèmes de contenu dupliqué.
• Produits que vous souhaitez masquer à la recherche. Si vous ne souhaitez pas que certains produits apparaissent dans les résultats de recherche (par exemple, les articles en rupture de stock ou les articles sensibles au temps qui ne sont plus pertinents), vous pouvez les masquer dans le fichier robots.txt de Shopify.

Robots.txt dans Shopify

Pour vérifier le fichier robots.txt qui est généré automatiquement pour vous, vous pouvez ajouter le fichier /robots.txt au domaine de votre boutique :

Que contient généralement ce fichier ? Il indique un robot de recherche particulier (le champ User-agent ) et donne des directives d'exploration(Disallow signifie bloquer l'accès). Dans l'exemple ci-dessus, la première série de règles est donnée à tous les robots de recherche (l'agent utilisateur est défini sur *). La directive Disallow interdit quant à elle l'exploration des pages spécifiées. Dans l'exemple, nous pouvons voir que le fichier interdit l'exploration des pages techniques, telles que admin, cart, checkout, etc.

Le fichier Robots.txt contient également un lien vers votre plan du site (sitemap), ce qui permet aux robots de recherche de comprendre la structure de votre site et les priorités d'indexation.

Jusqu'à récemment, Shopify n'offrait aucune flexibilité pour ce fichier. Mais en juin 2021, les marchands Shopify ont eu la possibilité de modifier le fichier robots.txt. Les règles prédéfinies sont généralement suffisantes, mais elles peuvent ne pas tenir compte de tous les cas. Si vous utilisez une application pour la recherche interne, celle-ci modifie souvent l'URL et les règles par défaut ne sont pas appliquées. Ou, si vous avez une navigation à facettes, l'URL change en fonction de chaque filtre choisi, et les règles par défaut risquent de ne pas tout prendre en compte. Vous pouvez ajouter d'autres pages et règles à votre fichier, spécifier d'autres agents utilisateurs, etc.

Pour en savoir plus sur les directives existantes que vous pouvez appliquer, consultez le guide de Google sur les robots.txt.

Notez également que de nouvelles règles apparaissent en permanence. Par exemple, au début de l'année 2022, Google a introduit une nouvelle balise qui contrôle l'indexation des contenus intégrés : indexifembedded. Cette balise peut être appliquée si vous avez des widgets sur votre boutique qui sont insérés par le biais d'une iframe ou d'une balise HTML similaire et que vous ne voulez pas qu'ils soient indexés.

Comment modifier votre fichier robots.txt sur Shopify ?

Dans le code de votre thème, vous verrez une série de modèles (allez dans Boutique en ligne > Thèmes > cliquez sur Actions sur votre thème actuel > choisissez Modifier le code > allez dans Modèles). La liste doit contenir le fichier robots.txt.liquid.

Si, pour une raison quelconque, vous n'avez pas ce fichier, vous pouvez le créer en cliquant sur Ajouter un nouveau modèle et en choisissant robots.txt.

Par exemple, bloquons la recherche interne de l'indexation - cela ressemblera à ceci dans le modèle :

Consultez la page d'aide de Shopify sur l'édition de robots.txt pour plus de détails.

notez que même si une page est interdite dans robots.txt, elle peut toujours être indexée si elle contient des liens provenant de sources externes. Ainsi, par exemple, si vous avez une ancienne page qui a reçu une quantité décente de trafic dans le passé, mais qui n'est plus pertinente pour votre boutique, il est préférable de la bloquer avec la balise méta robots ou de la supprimer complètement.

Noindexation du contenu de Shopify à l'aide de la balise méta robots

Outre le fichier robots.txt, la directive noindex peut être insérée dans la section <head> du code de votre thème à l'aide de la balise méta robots. Cette balise a la syntaxe suivante : <meta name="robots" content="noindex">.

De la même manière que vous modifiez ou créez un code robots.txt pour Shopify, allez dans theme.liquid dans la section Layout. Par exemple, voici à quoi cela ressemblera si vous ajoutez une règle pour noindexer votre page /new-collection :

De cette façon, vous cacherez définitivement une page de la recherche.

notez que vous pouvez utiliser noindex avec les directives nofollow ou follow. Avec follow, votre page sera bloquée de l'indexation mais permettra aux robots de recherche d'explorer d'autres liens placés sur cette page, tandis qu'avec nofollow, tant la page elle-même que tous les liens qu'elle contient ne seront pas accessibles aux robots de recherche.

Noindexer le contenu de Shopify à l'aide d'applications

Si tout cela vous semble trop compliqué, il existe des moyens de contrôler l'indexation de vos pages encore plus facilement, sans avoir à écrire une seule ligne de code. Il existe plusieurs applications SEO pour Shopify qui vous aideront à cacher des produits de la recherche dans votre boutique Shopify ou à bloquer d'autres pages. Par exemple, Sitemap Noindex SEO Tools coûte 3,49 $ par mois et fonctionne avec tous les types de pages.

Améliorez votre référencement en améliorant l'indexation des pages

Voilà : nous espérons que vous avez mieux compris le fonctionnement du fichier robots.txt de Shopify et que vous savez comment l'utiliser à votre avantage. Avec l'aide de robots.txt et de la balise méta robots, vous pouvez améliorer votre contrôle sur l'indexation des pages, prévenir les problèmes de référencement et donner plus de valeur à vos pages les plus importantes afin qu'elles brillent dans les recherches et qu'elles attirent plus de visiteurs.

Si vous cherchez d'autres conseils de référencement pour Shopify, consultez notre guide de référencement.

Enfin, si vous avez besoin d'aide pour les redirections ou le référencement en général, n'hésitez pas à nous contacter, et notre équipe se fera un plaisir de vous aider.