Robots.txt

Ihr Onlineshop wird von den Suchmaschinen indexiert, sodass Kunden Sie auch finden können. Die Robots.txt Datei verhindert, dass manche Seiten von den Suchmaschinen erfasst werden.

SEOshop kann Ihnen leider keinen Support bei der Erstellung einer eigenen Robots.txt bieten. Damit Ihr Shop gut indexiert wird, empfehlen wir Ihnen nur an der Datei zu arbeiten, wenn Sie über eine entsprechende Erfahrung verfügen.

Erstellen einer Robots.txt Datei

Gehen Sie zu Allgemein > Einstellungen im linken Menü Ihres Backoffices. Die Option finden Sie unten unter "Sonstige". Um die Datei erstellen zu können, müssen Sie die Funktion erst aktivieren, dann öffnen sich ein Feld, in das Sie den entsprechenden Code eintragen können.

User-Agent: Hier können Sie eintragen, welche Robots der Code betreffen soll. Sie können so zum Beispiel einstellen ob Bing indexiert werden soll, Google zum Beispiel nicht. Wenn Sie wünschen, dass die Einstellung für alle Suchmaschinen gilt, dann werden Sie einfach ein * im User-Agent Feld.

Disallow: Geben Sie die URL ein, die Sie blockieren möchten. Sie müssen die URL nicht näher spezifizieren, nur die Kategorie. Zum Beispiel wenn Sie die Kategorie verbieten möchten http://domeinnaam.com/category1/ dann müssen Sie einfach nur folgendes eintragen /category1/. Bitte beachten Sie hier allerdings die korrekte Schreibweise mit dem Slash Zeichen /.  So gilt es für den gesamten Ordner inkl. aller Subkategorien: /category1.  /category1/ - So gilt es nur für die Kategorie dieser Ordners. 

Bitte prüfen Sie den Code immer sorgfältig, besonders in Anbetracht der Slash Zeichen und leerer Zeichen dazwischen.

Sitemap - Wenn gewünscht, können Sie auch das Sitemap in der Robots.txt Datei hinzufügen. Hier müssen Sie die komplette URL eingeben.

Code example: 
User-agent: *
Disallow: /categorie1/subcategorie1/
User-Agent: Googlebot
Disallow: /product1.html Sitemap: http://www.domeinnaam.nl/sitemap.xml

User-Agent: Googlebot Disallow: /product1.html Sitemap: http://www.domainname.nl/sitemap.xml

Für weitere Informationen, prüfen Sie einfach die Google Supportseite.

Eine 'Crawl-delay 2' Benachrichtigung ist nichts ernstes und wird Ihren Shop nicht beeinflussen. Die Bots sind so programmiert, dass die Leistung Ihrer Seite nicht maßgeblich beeinflusst wird.
Haben Sie Fragen? Anfrage einreichen