robots.txt & KI: So wird Ihr Shop in ChatGPT sichtbar

Die neue Ära der Suche: Von SERPs zu KI-Antworten

Früher war die Welt des E-Commerce einfach: Wer bei Google auf Platz 1 stand, hat gewonnen. Heute hat sich das Blatt gewendet. Kunden nutzen zunehmend Tools wie ChatGPT, Perplexity oder Claude, um Kaufentscheidungen zu treffen. Fragen wie „Welches Gravelbike unter 2.000 Euro hat die besten Bewertungen?“ oder „Finde mir nachhaltige Sneaker aus Deutschland“ führen dazu, dass KI-Bots Ihren Online-Shop scannen müssen, um Sie empfehlen zu können.

Doch viele Shopbetreiber blockieren sich unbewusst selbst. Der Schlüssel zu dieser neuen Sichtbarkeit liegt in einer unscheinbaren Textdatei: der robots.txt.

Was ist die robots.txt und warum ist sie für KI wichtig?

Die robots.txt ist die erste Datei, die ein Web-Crawler (Bot) liest, wenn er Ihre Website besucht. Sie gibt Anweisungen, welche Verzeichnisse durchsucht werden dürfen und welche nicht.

Lange Zeit konzentrierten sich SEO-Experten darauf, Googlebot und Bingbot zu steuern. Doch mit dem Aufstieg der Large Language Models (LLMs) betreten neue Akteure die Bühne:

• GPTBot (OpenAI/ChatGPT)
• PerplexityBot (Perplexity AI)
• ClaudeBot (Anthropic)
• CommonCrawl (Die Datenbasis für viele Open-Source-KIs)

Wenn Ihre robots.txt diese Crawler aussperrt, existieren Ihre Produkte für die KI schlichtweg nicht. Sie tauchen nicht in Vergleichen auf und werden in Kaufberatungen nicht verlinkt.

Warum "Disallow: /" für KI-Bots ein Umsatzkiller ist

Ein häufiger Fehler aus der Vergangenheit ist die paranoide Angst vor Datendiebstahl. Manche Shopbetreiber blockieren alle Crawler außer Google, um Serverlast zu sparen oder das "Scrapen" von Preisen durch Konkurrenten zu verhindern.

Im Zeitalter von Searchgenerative Experiences (SGE) ist das fatal. Wenn Perplexity Ihre Produktdaten nicht lesen kann, wird es stattdessen den Konkurrenten empfehlen, der seine Türen für den PerplexityBot geöffnet hat. Die robots.txt entscheidet also darüber, ob Ihr Shop Teil des "Knowledge Graphs" der KI wird.

So optimieren Sie Ihre robots.txt für maximale KI-Sichtbarkeit

Um sicherzustellen, dass ChatGPT & Co. Ihre Produkte finden, sollten Sie Ihre robots.txt gezielt anpassen. Hier ist ein Best-Practice-Leitfaden:

1. GPTBot explizit zulassen

OpenAI nutzt den GPTBot, um ChatGPT mit aktuellem Wissen zu füttern. Stellen Sie sicher, dass er Zugriff auf Ihre Produktseiten hat.

User-agent: GPTBot
Allow: /produkte/
Allow: /kategorie/
Disallow: /warenkorb/
Disallow: /suche/

2. Perplexity AI priorisieren

Perplexity ist aktuell eine der stärksten KI-Suchmaschinen. Da sie Quellen direkt verlinkt, ist der Traffic von hier besonders wertvoll.

User-agent: PerplexityBot
Allow: /

3. CCBot (Common Crawl) nicht vergessen

Viele KIs basieren auf dem Datensatz von Common Crawl. Wer den CCBot blockiert, riskiert, in zukünftigen Trainingsdaten von KI-Modellen zu fehlen.

Strategische Abwägung: Was sollte blockiert bleiben?

Sichtbarkeit ist wichtig, aber Datenschutz und Performance auch. Sie sollten nicht alles freigeben. Folgende Bereiche sollten weiterhin für alle Bots (auch KI-Bots) gesperrt bleiben:

• Interne Suchseiten: Verhindert "Crawl-Fallen" durch unendliche Filterkombinationen.
• Warenkorb & Check-out: Hier gibt es keinen Mehrwert für eine KI.
• Kundenkonten & Login-Bereiche: Schutz sensibler Daten.
• Admin-Verzeichnisse: Grundlegende Sicherheitsmaßnahme.

Die Rolle von Schema.org: Die Sprache der KI

Die robots.txt öffnet nur die Tür. Damit die KI versteht, was sie sieht, müssen die Daten strukturiert sein. Schema.org-Markups (JSON-LD) sind hier das A und O. Wenn der GPTBot Ihre Seite crawlt und saubere Daten zu Product, Price, Availability und Review findet, steigt die Wahrscheinlichkeit massiv, dass Sie als Top-Empfehlung ausgespielt werden.

Checkliste für Shopbetreiber:

1. Prüfen: Enthält Ihre robots.txt Disallow: / für unbekannte Bots?
2. Ergänzen: Fügen Sie spezifische Anweisungen für GPTBot und PerplexityBot hinzu.
3. Testen: Nutzen Sie Tools wie den Google robots.txt-Tester oder spezialisierte KI-Crawler-Simulatoren.
4. Monitoring: Beobachten Sie in Ihren Analytics-Daten "Referral Traffic" von chatgpt.com oder perplexity.ai.

Fazit: Werden Sie Teil der KI-Antwort

Die Optimierung für KI-Bots ist das "neue SEO". Während klassisches SEO darauf abzielt, in einer Liste von Links zu erscheinen, geht es bei der KI-Optimierung darum, die Antwort selbst zu sein.

Ihre robots.txt ist das erste Signal, das Sie an die digitale Welt senden. Öffnen Sie die Türen für moderne Crawler, strukturieren Sie Ihre Daten und stellen Sie sicher, dass Ihr Shop dort präsent ist, wo die Kunden von morgen suchen: direkt im Chatfenster der künstlichen Intelligenz.

Wer heute seine robots.txt ignoriert, wird in der KI-getriebenen Suche von morgen unsichtbar sein. Fangen Sie jetzt an, die Weichen zu stellen.