Kunden besuchen Ihren eCom-Shop mithilfe einer Suchmaschine wie Google. Dabei wählen sie den Link Ihres Shops aus den Suchergebnissen aus. Um Ergebnisse anzeigen zu können, sammeln Suchmaschinen mit sogenannten Web-Crawlern Informationen zu Ihrem eCom-Shop. Ihre robots.txt-Datei steuert Web-Crawler.
Es ist nicht erforderlich, Ihre robots.txt-Datei zu bearbeiten. Im Normalfall ist die Indexierung aller Seiten und von allen Suchmaschinen aus erlaubt. Bearbeiten Sie die robots.txt-Datei nur, wenn Sie Erfahrung mit Suchmaschinenoptimierung (SEO) haben. Damit können Sie:
- Die Indexierung Ihrer Website durch Suchmaschinen verhindern. Beim Aufbau Ihres eCom-Shops könnte es beispielsweise noch nicht fertiggestellte Inhalte geben, die nicht indexiert werden sollen.
- Die Indexierung bestimmter Seiten Ihres eCom-Shops verbieten – zum Beispiel Seiten, die nicht indexiert werden sollen.
- Bestimmte Suchmaschinen von der Indexierung Ihrer Website aussperren. Wenn China beispielsweise außerhalb Ihres Zielmarktes liegt, können Sie chinesischen Suchmaschinen verbieten, Ihre Website zu indexieren.
Sie können Ihre aktuelle robots.txt-Datei einsehen, indem Sie IhreDomain.com/robots.txt aufrufen. Lightspeed eCom stellt Ihre Sitemap standardmäßig Suchmaschinen zur Verfügung und blockiert:
- den Login-Bildschirm zum Backoffice – /admin
- die Einkaufswagen-Seite – /cart
- Vergleichsseiten – /compare
- Seiten im Zusammenhang mit dem Bezahlvorgang – /checkout
So ändern Sie Ihre robots.txt-Datei bei Lightspeed eCom:
- Klicken Sie im linken Menü des Backoffice auf Einstellungen und klicken Sie in den Webseiten-Einstellungen die Web-Extras an.
- Stellen Sie im Abschnitt ROBOTS.TXT den Schalter mit der Bezeichnung Status auf Ein.
- Geben Sie Ihre robots.txt-Inhalte in das Feld Roboter ein.
Das Basisformat von robots.txt ist:
User-agent: [Name des Web-Crawlers der Suchmaschine] Disallow: [Webadresse, die nicht gecrawlt werden soll]
User-agent identifiziert einen Web-Crawler. Zum Beispiel:
User-agent: Googlebot
– Google-SucheUser-agent: Bingbot
– Microsoft Bing & YahooUser-agent: Baiduspider
– Baidu, eine führende chinesische SuchmaschineUser-agent: *
– zielt auf alle Web-Crawler ab.
Disallow gibt die Seite an, die Sie blockieren möchten. Geben Sie anstelle der vollständigen Webadresse den Dateispeicherort ein. Zum Beispiel:
Disallow: /Womens-apparel
– Verhindert die Indexierung von Inhalten auf Ihrer Seite IhreDomain.com/Damenmode und allen Unterseiten.Disallow: /Womens-apparel/
– Verhindert nur die Indexierung von Inhalten auf Ihrer SeiteIhreDomain.com/Damenmode. Alle Unterseiten werden weiterhin indexiert.Disallow: /
– Verhindert, dass jedwede Seiten indexiert werden.Disallow:
– Erlaubt die Indexierung aller Seiten.
Weitere Informationen zur robots.txt-Datei finden Sie auf der Google-Support-Seite
Fehlerbehebung und Support für robots.txt
- Überprüfen Sie Ihren Code sorgfältig auf die korrekte Verwendung von Schrägstrichen/Zeichen.
- Stellen Sie sicher, dass in der robots.txt-Datei keine Leerzeichen vorhanden sind.
- Verwenden Sie den robots.txt-Tester in der Google-Search-Konsole, um auf Warnungen oder Fehler zu testen.
Für weitere Informationen zum:
- Einrichten der Google-Search-Konsole, besuchen Sie hier unseren Hilfe-Artikel.
- Zugriff auf den robots.txt-Tester von Google, besuchen Sie hier den Hilfe-Artikel von Google.
Unser Support-Team hilft Ihnen gerne bei allen Problemen mit Ihrem Onlineshop. Das Bearbeiten der robots.txt Ihres Designs kann zu Problemen mit Ihrem Suchmaschinen-Ranking führen. In diesem Fall verfügt unser Support-Team möglicherweise nicht über das erforderliche SEO-Wissen, um das Problem direkt in Ihrer robots.txt-Datei zu lösen. In diesen Fällen wird Ihnen eventuell empfohlen:
- Kontakt mit einem externen SEO-Experten aufzunehmen, um das Problem zu beheben.
- Die Änderungen im Feld robots.txt zu löschen und damit die Standardeinstellungen wiederherzustellen.
Crawl-delay 2
Wenn Sie Fehler in der Google-Search-Konsole überprüfen, erscheint eventuell die Benachrichtigung Crawl-delay 2, die Sie jedoch nicht beunruhigen muss. Sie ist nicht schwerwiegend und hat keinen Einfluss auf Ihren Onlineshop. Crawl-Delay betrifft Google-Bots, die Ihren Onlineshop besuchen und verhindert eine Server-Überlastung, welche zu Betriebsverzögerungen in Ihrem Onlineshop führen könnte.