Kunden besuchen Ihren eCom-Shop mithilfe einer Suchmaschine wie Google. Dabei wählen sie den Link Ihres Shops aus den Suchergebnissen aus. Um Ergebnisse anzeigen zu können, sammeln Suchmaschinen mit sogenannten Web-Crawlern Informationen zu Ihrem eCom-Shop. Ihre robots.txt-Datei steuert Web-Crawler.

Es ist nicht erforderlich, Ihre robots.txt-Datei zu bearbeiten. Im Normalfall ist die Indexierung aller Seiten und von allen Suchmaschinen aus erlaubt. Bearbeiten Sie die robots.txt-Datei nur, wenn Sie Erfahrung mit Suchmaschinenoptimierung (SEO) haben. Damit können Sie:

• Die Indexierung Ihrer Website durch Suchmaschinen verhindern. Beim Aufbau Ihres eCom-Shops könnte es beispielsweise noch nicht fertiggestellte Inhalte geben, die nicht indexiert werden sollen.
• Die Indexierung bestimmter Seiten Ihres eCom-Shops verbieten – zum Beispiel Seiten, die nicht indexiert werden sollen.
• Bestimmte Suchmaschinen von der Indexierung Ihrer Website aussperren. Wenn China beispielsweise außerhalb Ihres Zielmarktes liegt, können Sie chinesischen Suchmaschinen verbieten, Ihre Website zu indexieren.

Sie können Ihre aktuelle robots.txt-Datei einsehen, indem Sie IhreDomain.com/robots.txt aufrufen. Lightspeed eCom stellt Ihre Sitemap standardmäßig Suchmaschinen zur Verfügung und blockiert:

• den Login-Bildschirm zum Backoffice – /admin
• die Einkaufswagen-Seite – /cart
• Vergleichsseiten – /compare
• Seiten im Zusammenhang mit dem Bezahlvorgang – /checkout

So ändern Sie Ihre robots.txt-Datei bei Lightspeed eCom:

1. Klicken Sie im linken Menü des Backoffice auf Einstellungen und klicken Sie in den Webseiten-Einstellungen die Web-Extras an.
2. Stellen Sie im Abschnitt ROBOTS.TXT den Schalter mit der Bezeichnung Status auf Ein.
3. Geben Sie Ihre robots.txt-Inhalte in das Feld Roboter ein.

Das Basisformat von robots.txt ist: 

User-agent: [Name des Web-Crawlers der Suchmaschine] 
Disallow: [Webadresse, die nicht gecrawlt werden soll]

User-agent identifiziert einen Web-Crawler. Zum Beispiel:

• User-agent: Googlebot – Google-Suche
• User-agent: Bingbot – Microsoft Bing & Yahoo
• User-agent: Baiduspider – Baidu, eine führende chinesische Suchmaschine
• User-agent: * – zielt auf alle Web-Crawler ab.

Disallow gibt die Seite an, die Sie blockieren möchten. Geben Sie anstelle der vollständigen Webadresse den Dateispeicherort ein. Zum Beispiel:

• Disallow: /Womens-apparel – Verhindert die Indexierung von Inhalten auf Ihrer Seite IhreDomain.com/Damenmode und allen Unterseiten.
• Disallow: /Womens-apparel/ – Verhindert nur die Indexierung von Inhalten auf Ihrer SeiteIhreDomain.com/Damenmode. Alle Unterseiten werden weiterhin indexiert.
• Disallow: / – Verhindert, dass jedwede Seiten indexiert werden.
• Disallow:  – Erlaubt die Indexierung aller Seiten.

Weitere Informationen zur robots.txt-Datei finden Sie auf der Google-Support-Seite

Fehlerbehebung und Support für robots.txt

1. Überprüfen Sie Ihren Code sorgfältig auf die korrekte Verwendung von Schrägstrichen/Zeichen.
2. Stellen Sie sicher, dass in der robots.txt-Datei keine Leerzeichen vorhanden sind.
3. Verwenden Sie den robots.txt-Tester in der Google-Search-Konsole, um auf Warnungen oder Fehler zu testen.

Für weitere Informationen zum:

• Einrichten der Google-Search-Konsole, besuchen Sie hier unseren Hilfe-Artikel.
• Zugriff auf den robots.txt-Tester von Google, besuchen Sie hier den Hilfe-Artikel von Google.

Unser Support-Team hilft Ihnen gerne bei allen Problemen mit Ihrem Onlineshop. Das Bearbeiten der robots.txt Ihres Designs kann zu Problemen mit Ihrem Suchmaschinen-Ranking führen. In diesem Fall verfügt unser Support-Team möglicherweise nicht über das erforderliche SEO-Wissen, um das Problem direkt in Ihrer robots.txt-Datei zu lösen. In diesen Fällen wird Ihnen eventuell empfohlen:

• Kontakt mit einem externen SEO-Experten aufzunehmen, um das Problem zu beheben. 
• Die Änderungen im Feld robots.txt zu löschen und damit die Standardeinstellungen wiederherzustellen.