El archivo robots.txt es uno de los elementos básicos del SEO técnico que siempre debe cuidar. Le ayuda a controlar cómo rastrean su sitio los motores de búsqueda, de modo que todo lo importante aparezca en los resultados de búsqueda y se bloquee todo lo que no desea que aparezca allí.

¿Por qué es tan importante controlar el rastreo y la indexación de su página?

• Para ahorrarpresupuesto de rastreo . El número de páginas que un robot de búsqueda puede procesar en un tiempo determinado tiene un límite. Para asegurarse de que sus páginas más importantes se rastrean y se vuelven a rastrear con regularidad, debe excluir aquellas páginas que no necesitan aparecer en los resultados de búsqueda.

• Evitar que laspáginas técnicas se muestren en la búsqueda. Hay muchas páginas que su tienda genera para comodidad de los usuarios: páginas de inicio de sesión, de pago, de búsqueda interna, etc. Son cruciales para la UX, pero no son necesarias para aparecer en la búsqueda.

• Evitar problemas de contenido duplicado. Hablando de las páginas técnicas que hemos mencionado, pueden crear duplicación: por ejemplo, las diferentes opciones de clasificación vendrán en diferentes URLs pero muestran los mismos productos, sólo que en un orden diferente. No quieres que esas páginas se vean involucradas en los rankings, ya que los motores de búsqueda no aprecian el contenido duplicado.

¿Cómo puede controlar la indexación de las páginas de su tienda?

Para dar valor a sus páginas importantes y facilitar su indexación por los robots de búsqueda, debe tener siempre un mapa del sitio actualizado y correcto. Además, cuide los enlaces internos y consiga fuentes externas que enlacen a su contenido para que sus páginas parezcan más autorizadas a los ojos de los motores de búsqueda.

Estas medidas garantizan en gran medida que sus páginas aparezcan en los motores de búsqueda, aunque no existe una forma segura de garantizar la indexación al 100%.

Lo que sí puedes garantizar al 100% es excluir ciertas páginas que no quieres que aparezcan en las búsquedas. Para ello, puedes utilizar la directiva noindex en el archivo robots.txt o en la metaetiqueta robots. Suena muy técnico a primera vista, pero en realidad es muy fácil. Especialmente para los comerciantes de Shopify, ya que la plataforma se encarga automáticamente de la mayor parte de la indexación adecuada.

Entonces, ¿qué deberías noindexar en una tienda Shopify?

Para las tiendas online, tiene sentido bloquear de la indexación los siguientes tipos de páginas:

• Todo lo asociadocon las cuentas de usuario. Esas páginas son únicas para cada cliente y no son necesarias en la búsqueda.
• Aunque los usuarios no inicien sesión en su cuenta y se les permita comprar como invitados, las páginas con pasos de pago generados para ellos no están destinadas a la búsqueda.
• Lanavegación por facetas y la búsqueda interna. Como ya hemos mencionado, ofrecer esas URL a los robots de búsqueda sólo les confundirá, agotará su presupuesto de rastreo y creará problemas de contenido duplicado.
• Productos que desea ocultar de la búsqueda. Si no desea que ciertos productos se muestren en los resultados de búsqueda, por ejemplo, artículos fuera de stock o artículos sensibles al tiempo que ya no son relevantes, puede ocultar los productos de la búsqueda en su archivo robots.txt de Shopify.

Robots.txt en Shopify

Para comprobar el archivo robots.txt que se genera para usted automáticamente, puede añadir el /robots.txt al dominio de su tienda:

¿Qué suele contener este archivo? Indica un bot de búsqueda en particular (el campo User-agent ) y da directivas de rastreo( Disallow significa bloquear el acceso). En el ejemplo anterior, el primer conjunto de reglas se da a todos los bots de búsqueda (el User-agent se establece en *). A su vez, la directiva Disallow prohíbe el rastreo de las páginas especificadas. En el ejemplo, podemos ver que el archivo prohíbe el rastreo de páginas técnicas, como admin, cart, checkout, etc.

Robots.txt también incluye un enlace a su mapa del sitio, que también es útil para los rastreadores de búsqueda para entender la estructura de su sitio y las prioridades de indexación.

Hasta hace poco, Shopify no ofrecía ninguna flexibilidad con este archivo. Pero en junio de 2021, los comerciantes de Shopify tuvieron la posibilidad de editar robots.txt. Las reglas predefinidas son en su mayoría suficientes, pero podrían no tener en cuenta todos los casos. Si utilizas una aplicación para la búsqueda interna, a menudo cambia la URL, y las reglas por defecto no se aplican. O, si tienes navegación por facetas, la URL cambia según cada filtro elegido, y las reglas por defecto podrían no tenerlo todo en cuenta. Puedes añadir más páginas y reglas a tu archivo, especificar más agentes de usuario, etc.

Para conocer las directivas que puedes aplicar, consulta la guía de Google sobre robots.txt.

Además, ten en cuenta que continuamente aparecen nuevas reglas. Por ejemplo, a principios de 2022, Google introdujo una nueva etiqueta que controla la indexación de contenido incrustado: indexifembedded. Se puede aplicar si tienes algunos widgets en tu tienda que se insertan mediante iframe o una etiqueta HTML similar y no quieres que se indexen.

¿Cómo editar tu robots.txt en Shopify?

En el código de tu tema, verás un montón de plantillas (ve a Tienda Online > Temas > haz clic en Acciones sobre tu tema actual > elige Editar código > ve a Plantillas). La lista debería contener el archivo robots.txt.liquid.

Si, por alguna razón, no tiene el archivo, puede crearlo haciendo clic en Añadir nueva plantilla y eligiendo robots.txt.

Por ejemplo, vamos a bloquear la búsqueda interna de la indexación - que se verá así en la plantilla:

Consulta la página de ayuda de Shopify sobre la edición de robots.txt para más detalles.

❗ Ten en cuenta que incluso si una página está desautorizada en robots.txt, aún puede indexarse si tiene enlaces de fuentes externas. Así que, por ejemplo, si tienes una página antigua que recibió una cantidad decente de tráfico en el pasado pero ya no es relevante para tu tienda, es mejor bloquearla con la metaetiqueta robots o eliminarla por completo.

Noindexar contenido de Shopify con la metaetiqueta robots

Además de robots.txt, la directiva noindex se puede insertar en la sección <head> del código de tu tema con la ayuda de la etiqueta robots meta, que tiene la siguiente sintaxis: <meta name="robots" content="noindex">.

De forma similar a cómo editas o creas un código robots.txt de Shopify, ve a theme.liquid en la sección Layout. Por ejemplo, este es el aspecto que tendrá si añades una regla para noindexar tu página /new-collection:

De esta forma, ocultarás una página de las búsquedas para siempre.

❗ Ten en cuenta que puedes usar noindex junto con las directivas nofollow o follow. Con follow, tu página será bloqueada de la indexación pero permitirá a los robots de búsqueda rastrear otros enlaces colocados en esa página, mientras que con nofollow, tanto la página en sí como todos los enlaces en ella no serán accesibles para los robots de búsqueda.

Noindexar contenido de Shopify con la ayuda de aplicaciones

Si todo esto te parece demasiado engorroso, existen formas de controlar la indexación de tus páginas de forma aún más sencilla, sin tener que escribir ni una sola línea de código. Existen varias apps de SEO para Shopify que te ayudarán a ocultar productos de las búsquedas en tu tienda Shopify o a bloquear cualquier otra página. Por ejemplo, Sitemap Noindex SEO Tools cuesta 3,49 dólares al mes y funciona con todo tipo de páginas.

Mejora tu SEO mejorando la indexación de páginas

Con la ayuda de robots.txt y robots meta tag, puedes mejorar tu control sobre la indexación de páginas, prevenir problemas de SEO, y dar más valor a tus páginas más importantes para que brillen en las búsquedas y atraigan más visitantes.

Si estás buscando más consejos de SEO para Shopify, echa un vistazo a nuestra guía de SEO.