Très souvent, les clients visitent votre boutique eCom après avoir effectué une recherche dans un moteur de recherche comme Google et sélectionne le lien de votre boutique dans la liste des résultats. Afin de fournir des résultats, les moteurs de recherche collectent des informations sur votre boutique eCom en utilisant des robots d’indexation. Le fichier robots.txt vous permet de contrôler les robots d’indexation.
Il n’est pas obligatoire de modifier votre fichier robots.txt. Il est normal de permettre l’indexation de toutes les pages et à partir de tous les moteurs de recherche. Modifiez les fichiers robots.txt seulement si vous avez de l’expérience en matière de référencement naturel. Le fichier robots.txt vous permet d’effectuer ce qui suit :
- empêcher les moteurs de recherche d’indexer votre site. Par exemple, lors de la création de votre boutique eCom, vous pourriez avoir du contenu inachevé qui ne devrait pas être indexé;
- interdire l’indexation de certaines pages de votre boutique eCom, comme celles que vous ne voulez pas indexer;
- bloquer l’indexation de votre site par des moteurs de recherche précis. Par exemple, si la Chine est en dehors de votre marché cible, vous pouvez empêcher les moteurs de recherche chinois d’indexer votre site.
Vous pouvez voir votre fichier robots.txt actuel en allant sur yourdomain.com/robots.txt. Par défaut, Lightspeed eCom fournit votre plan de site aux moteurs de recherche et bloque :
- l’écran de connexion de l’arrière-boutique (/admin)
- la page du panier d’achats (/cart)
- les pages de comparaison (/compare)
- les pages de paiement (/checkout)
Modifier votre fichier robots.txt dans Lightspeed eCom :
- Dans le menu de gauche de l’arrière-boutique, cliquez sur Paramètres, et dans la section Paramètres du site web, choisissez Extras Web.
- Dans la section ROBOTS.TXT, activez le bouton État.
- Saisissez le contenu robots.txt dans le champ intitulé Robot.
Le format de base du fichier robots.txt est le suivant :
User-agent: [Nom du robot d’indexation du moteur de recherche] Disallow: [Adresse Web ne devant pas être indexée]
L’instruction User-agent permet d’identifier un robot d’indexation. Par exemple :
User-agent: Googlebot
– GoogleUser-agent: Bingbot
– Microsoft Bing et YahooUser-agent: Baiduspider
– Baidu, un moteur de recherche chinois de premier planUser-agent: *
– Vise tous les robots d’indexation
L’instruction Disallow permet de préciser les pages que vous voulez bloquer. Entrez l’emplacement du fichier au lieu de l’adresse Web complète. Par exemple :
Disallow: /Womens-apparel
– Empêche l’indexation de tout contenu dans la page yourdomain.com/Womens-apparel et dans les sous-pages.Disallow: /Womens-apparel/
– Empêche uniquement l’indexation du contenu dans la page domain.com/Womens-apparel. Toutes les sous-pages vont quand même être indexées.Disallow: /
– Empêche toutes les pages d’être indexées.Disallow:
– Permet l’indexation de toutes les pages.
Pour plus d’informations sur le fichier robots.txt, consultez la page d’assistance Google.
Dépannage et soutien pour le fichier robots.txt
- Pensez à écrire correctement votre code en faisant attention aux barres obliques et aux caractères.
- Assurez-vous qu’il n’y a pas d’espaces vides dans le fichier robots.txt.
- Utilisez l’outil de test du fichier robots.txt dans la Search Console de Google pour détecter des problèmes ou des avertissements.
Pour plus d’informations sur :
- la configuration de Google Search Console, consultez notre article d’aide ici.
- l’accès à l’outil de test du fichier robots.txt de Google, consultez l’article d’aide de Google ici.
Notre équipe d’assistance s’engage à vous aider avec votre boutique eCom. La modification du fichier robots.txt de votre thème pourrait entraîner des problèmes de classement dans les moteurs de recherche. Si cela devait se produire, notre équipe d’assistance pourrait ne pas avoir les connaissances nécessaires en matière de référencement pour résoudre le problème dans votre fichier robots.txt. Dans ces cas, elle pourrait vous recommander de :
- communiquer avec un tiers spécialisé en référencement pour résoudre le problème;
- supprimer les modifications apportées au champ robots.txt pour restaurer ses paramètres par défaut.
Crawl-delay 2
Lors de l’examen des erreurs dans la Search Console de Google, ne vous inquiétez pas si vous recevez une notification Crawl-delay 2. Ce n’est pas grave et cela n’a aucun effet sur le fonctionnement de votre boutique en ligne. Afin de prévenir la surcharge des serveurs qui peut causer des retards opérationnels dans votre boutique en ligne, le paramètre Crawl-delay fait appel à des robots de Google qui parcourent les pages des boutiques en ligne.