Robots.txt [NB]

Uw webwinkel wordt geïndexeerd door zoekmachines waardoor uw webwinkel gevonden kan worden door uw klanten. Met Robots.txt kunt u voorkomen dat bepaalde pagina’s van uw webwinkel geïndexeerd en getoond worden in zoekresultaten.

Lightspeed biedt geen technische ondersteuning bij het maken van uw Robots.txt. Om te voorkomen dat uw webwinkel niet goed geïndexeerd wordt en daardoor slecht gevonden wordt, raden wij u aan alleen met Robots.txt te gaan werken als u hier verstand van heeft.

Robots.txt aanmaken

In de navigatie aan de linkerkant van het scherm kunt u klikken op SYSTEEM > Instellingen > WEBSITE-INSTELLINGEN > Web Extras. Om het Robots.txt bestand te schrijven, dient u eerst de status te activeren. Na het activeren van de status, opent er een invoerveld waarin u de code kunt invoeren.

Robots_1.png

Code invoeren

robots_1.png

User-agent: Hier kunt u aangeven op welke robots de code van toepassing is. U kunt er bijvoorbeeld voor kiezen om de desbetreffende pagina niet in Google te laten indexeren, maar wel in andere zoekmachines zoals Yahoo! of Bing. Binnen zoekmachines kunt u nog specifieker zijn. Als u wilt dat de code voor alle zoekmachines geldt, gebruik dan * als User-agent.

Disallow: hier geeft u de URL aan die u wilt blokkeren. U hoeft hier niet de gehele URL te vermelden, de bestandslocatie is voldoende. Wilt u bijvoorbeeld http://domeinnaam.nl/categorie1/ uitsluiten van indexatie, dan dient u als Disallow-regel /categorie1/ in te vullen. Er zit een verschil tussen wel of niet gebruik maken van een / aan het einde van de regel: Disallow: /categorie1 geeft aan dat het de hele folder betreft, inclusief alle bestanden en sub-folders. Disallow: /categorie1/ geeft aan dat het alleen om de categorie1 pagina gaat in deze map. De beste manier om dit te controleren, is te kijken naar de URL van de desbetreffende pagina. Staat er in de URL een / helemaal aan het einde, plaats deze dan ook bij uw Disallow-regel.

Controleer uw code altijd goed op gebruik van /-tekens en of er eventueel lege velden tussen zitten.

Sitemap - eventueel kunt u in het Robots.txt bestand ook de locatie van uw sitemap aangeven. Hier dient u echter wel de volledige URL in te voeren.

Voorbeeld codes: 
User-agent: *
Disallow: /categorie1/subcategorie1/
User-Agent: Googlebot
Disallow: /product1.html Sitemap: http://www.domeinnaam.nl/sitemap.xml

Kijk voor meer informatie over Robots.txt onder andere op de supportpagina van Google

Een 'Crawl-delay 2' melding is niets ernstigs. De "fout" die u krijgt heeft voor de rest geen invloed op de werking van uw webwinkel. Crawl-Delay heeft te maken met Google bots die de webshops bezoeken. Crawl-Delay 2 zorgt ervoor dat de servers niet overbelast worden. Hierdoor zou uw webwinkel namelijk vertragen.
Hebt u meer vragen? Een aanvraag indienen