KI-Crawler robots.txt: GPTBot und Co. richtig steuern

Du hast eine Website und fragst dich, ob ChatGPT, Gemini oder Perplexity deine Inhalte lesen, zitieren oder für Training verwenden dürfen? Genau hier kommt die KI-Crawler robots.txt ins Spiel. Mit wenigen Zeilen steuerst du, welche KI-Bots auf deine Seiten zugreifen. Der Haken: Nicht jeder Bot dient demselben Zweck, und ein falscher Eintrag kann dich unsichtbar machen oder umgekehrt Inhalte freigeben, die du lieber für dich behalten möchtest. In diesem Beitrag lernst du die wichtigsten Crawler kennen, bekommst eine fertige Vorlage und erfährst, wie du die Datei sauber testest.

Warum die KI-Crawler robots.txt für KMU wichtiger wird

Früher war die robots.txt vor allem für Suchmaschinen gedacht. Heute lesen zusätzlich KI-Systeme mit, die Inhalte entweder für das Training ihrer Modelle sammeln, für eine KI-Suche indexieren oder live abrufen, wenn ein Nutzer eine Frage stellt. Für ein KMU hat das zwei Seiten. Einerseits möchtest du in KI-Antworten auftauchen, weil dort immer mehr Kundinnen und Kunden ihre erste Recherche starten. Andererseits willst du vielleicht nicht, dass deine Texte, Preislisten oder Bilder ungefragt zu Trainingsmaterial werden.

Die gute Nachricht: Die grossen Anbieter trennen diese Zwecke mittlerweile in verschiedene Bots oder Tokens. Du kannst also einzeln entscheiden. Die schlechte Nachricht: Wer pauschal alles sperrt, sperrt womöglich auch die Sichtbarkeit in der KI-Suche. Deshalb lohnt sich ein genauer Blick.

Die drei Arten von KI-Zugriffen

Bevor du etwas in die robots.txt schreibst, solltest du die drei Zugriffsarten auseinanderhalten. Sie verhalten sich unterschiedlich und lassen sich auch unterschiedlich steuern.

1. Training: Inhalte für Modelle sammeln

Training-Crawler sammeln Texte, damit künftige Modelle daraus lernen. Ein Beispiel ist GPTBot von OpenAI. Laut OpenAI signalisierst du mit einem Disallow, dass deine Inhalte nicht für das Training der generativen Basismodelle verwendet werden sollen.

2. KI-Suche: Inhalte für Antworten indexieren

Diese Bots sorgen dafür, dass deine Seite in den Suchfunktionen eines KI-Dienstes auftauchen kann. Bei OpenAI ist das OAI-SearchBot. OpenAI empfiehlt, diesen Bot zuzulassen, wenn du in den Antworten der ChatGPT-Suche erscheinen möchtest. Wer ihn sperrt, taucht dort nicht auf, kann aber weiterhin als reiner Navigationslink erscheinen. Änderungen in der robots.txt können laut OpenAI rund 24 Stunden brauchen, bis sie in den Suchergebnissen wirken.

3. Nutzer-Abruf: Eine Person fragt, der Bot holt die Seite

Hier ruft ein Bot deine Seite ab, weil gerade jemand im Chat danach gefragt hat. Bei OpenAI heisst dieser Agent ChatGPT-User. OpenAI schreibt dazu, dass robots.txt-Regeln hier möglicherweise nicht greifen, weil die Aktion von einem Nutzer ausgelöst wird. Bei Perplexity ist es ähnlich: Perplexity-User ignoriert robots.txt laut Perplexity in der Regel, weil der Zugriff von einer Person angestossen wird.

Die wichtigsten KI-Bots im Überblick

• GPTBot (OpenAI): Training der Basismodelle. Sperrbar per robots.txt.
• OAI-SearchBot (OpenAI): Sichtbarkeit in der ChatGPT-Suche. Zulassen, wenn du dort gefunden werden willst.
• ChatGPT-User (OpenAI): Abrufe auf Wunsch einer Person. robots.txt greift hier laut OpenAI möglicherweise nicht.
• Google-Extended (Google): Ein reines Kontroll-Token ohne eigenen User-Agent. Es steuert, ob Google-Inhalte für das Training künftiger Gemini-Modelle und für Grounding in Gemini-Apps verwendet werden.
• PerplexityBot (Perplexity): Dient laut Perplexity der Auffindbarkeit in der Perplexity-Suche und wird nicht für das Training von Basismodellen eingesetzt.
• Perplexity-User (Perplexity): Nutzer-Abruf, ignoriert robots.txt in der Regel.

Wichtig bei Google: Das Token Google-Extended hat laut Google keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal. Für deine klassische Sichtbarkeit bleibt also der Googlebot entscheidend.

Brauche ich für Google AI Overviews eine Sonderbehandlung?

Nein. Google schreibt in der Dokumentation zu den KI-Funktionen, dass es keine zusätzlichen Anforderungen gibt, um in AI Overviews oder im AI Mode zu erscheinen, und dass auch keine besonderen Optimierungen nötig sind. Deine Seite muss indexiert und für die Suche mit Snippet zugelassen sein. Du brauchst keine neuen maschinenlesbaren Dateien, keine speziellen KI-Textdateien und auch kein besonderes Schema-Markup. Die Basics zählen: Crawling in der robots.txt und im CDN erlauben, wichtige Seiten intern verlinken, Inhalte als Text anbieten und strukturierte Daten passend zum sichtbaren Text pflegen. Eine Garantie für Sichtbarkeit gibt es allerdings nicht.

Schritt für Schritt: Deine robots.txt für KI-Crawler einrichten

Schritt 1: Entscheide, was du willst

Beantworte dir drei Fragen. Möchtest du in KI-Suchen gefunden werden? Möchtest du, dass deine Inhalte fürs Training verwendet werden? Gibt es Bereiche wie Kundenportale oder interne Seiten, die generell tabu sind? Für die meisten KMU ist eine sinnvolle Grundhaltung: In der KI-Suche sichtbar sein, das Training aber sperren.

Schritt 2: Prüfe deine bestehende Datei

Rufe deine-domain.ch/robots.txt im Browser auf. Viele Systeme erzeugen automatisch eine Datei. Kopiere den Inhalt, bevor du etwas änderst, damit du jederzeit zurückkehren kannst. Prüf auch, ob dein CMS oder dein Hoster die Datei überschreibt.

Schritt 3: Ergänze die Regeln für KI-Bots

Das folgende Beispiel erlaubt die KI-Suche und sperrt das Training bei OpenAI und Google. Die bestehenden Regeln für normale Suchmaschinen lässt du unverändert.

# Normale Suchmaschinen bleiben erlaubt
User-agent: *
Disallow: /intern/

# OpenAI: in der ChatGPT-Suche erscheinen
User-agent: OAI-SearchBot
Allow: /

# OpenAI: kein Training mit meinen Inhalten
User-agent: GPTBot
Disallow: /

# Google: kein Training und Grounding für Gemini
User-agent: Google-Extended
Disallow: /

# Perplexity: in der Perplexity-Suche erscheinen
User-agent: PerplexityBot
Allow: /

Sitemap: https://www.deine-domain.ch/sitemap.xml

Jeder Block beginnt mit User-agent und nennt den Bot. Darunter steht, was erlaubt (Allow) oder verboten (Disallow) ist. Ein einzelner Schrägstrich bei Disallow bedeutet: die gesamte Website. Die Zeile mit der Sitemap hilft allen Crawlern, deine Seiten zu finden. Jeder Bot wird einzeln gesteuert, du kannst also zum Beispiel OAI-SearchBot erlauben und GPTBot sperren.

Schritt 4: Speichern, hochladen und testen

Die Datei liegt immer im Hauptverzeichnis deiner Domain. Nach dem Hochladen rufst du sie im Browser auf und prüfst, ob die neuen Zeilen erscheinen. Teste zusätzlich mit dem robots.txt-Bericht in der Google Search Console, ob die Datei fehlerfrei gelesen wird. Rechne bei der KI-Suche mit einer gewissen Verzögerung, bei OpenAI nennt die Dokumentation etwa 24 Stunden.

Schritt 5: Server und Firewall nicht vergessen

Eine freundliche robots.txt nützt nichts, wenn deine Firewall, dein CDN oder ein Bot-Schutz die Crawler vorher abblockt. OpenAI empfiehlt, neben der robots.txt auch Anfragen aus den veröffentlichten IP-Bereichen von OAI-SearchBot zuzulassen. Frag bei deinem Hoster nach, ob automatische Bot-Filter aktiv sind, und schau in die Server-Logs, welche Bots tatsächlich vorbeikommen.

Typische Fehler bei der KI-Crawler robots.txt

• Alles sperren aus Angst: Ein pauschales Disallow für alle KI-Bots kann dich aus der KI-Suche heraushalten. Trenne bewusst zwischen Training und Suche.
• Falsche Erwartung an robots.txt: Die Datei ist eine Bitte, keine Zugangskontrolle. Seriöse Crawler halten sich daran, Nutzer-Abrufe wie ChatGPT-User oder Perplexity-User teilweise nicht. Wirklich vertrauliche Inhalte gehören hinter ein Login.
• Tippfehler bei den Namen: Die User-Agent-Namen müssen stimmen. Prüf sie regelmässig in der offiziellen Dokumentation, denn Anbieter ergänzen Bots und ändern Beschreibungen.
• Google-Extended mit Googlebot verwechseln: Wer versehentlich den Googlebot sperrt, verschwindet aus der Suche. Google-Extended ist dagegen nur ein Kontroll-Token für KI-Nutzung.
• Datei nie testen: Ein Syntaxfehler oder eine falsch platzierte Zeile reicht, damit Regeln anders wirken als gedacht.

Strategie: Wann sperren, wann zulassen?

Es gibt keine Einheitslösung. Ein Handwerksbetrieb, der über Anfragen aus der Region lebt, profitiert meist davon, in der KI-Suche aufzutauchen. Ein Verlag, ein Fotograf oder ein Anbieter kostenpflichtiger Inhalte wird das Training dagegen eher sperren wollen. Du kannst auch abgestuft arbeiten: Öffentliche Ratgeberseiten bleiben offen, Preislisten, Downloads oder Portale sperrst du über einzelne Pfade.

Denk ausserdem daran, dass eine saubere KI-Crawler robots.txt nur ein Baustein ist. Gute Inhalte, klare Struktur, schnelle Ladezeiten und aktuelle Firmendaten sind am Ende das, was in KI-Antworten genannt wird. Mehr dazu findest du in unseren Leistungen.

Checkliste für deine KI-Crawler robots.txt

• Ziel festgelegt: Sichtbarkeit in der KI-Suche ja oder nein, Training ja oder nein
• Bestehende robots.txt gesichert
• Regeln für GPTBot, OAI-SearchBot, Google-Extended und PerplexityBot ergänzt
• Sitemap-Zeile eingetragen
• Datei im Browser und in der Google Search Console geprüft
• Firewall, CDN und Bot-Schutz auf Blockaden kontrolliert
• Server-Logs nach einigen Tagen angeschaut
• Dokumentation der Anbieter alle paar Monate neu gelesen

Häufige Fragen zu KI-Crawler robots.txt

Was ist eine KI-Crawler robots.txt?

Eine KI-Crawler robots.txt ist eine robots.txt-Datei, die zusätzlich Regeln für KI-Bots wie GPTBot, OAI-SearchBot oder PerplexityBot enthält. Sie liegt im Hauptverzeichnis deiner Domain. Damit legst du fest, welche KI-Dienste welche Bereiche deiner Website abrufen dürfen. Es ist eine Bitte an den Crawler, kein technischer Zugriffsschutz.

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

GPTBot sammelt Inhalte, die für das Training der generativen Basismodelle von OpenAI genutzt werden können, OAI-SearchBot macht Seiten in der ChatGPT-Suche auffindbar. Du kannst beide getrennt steuern. Viele Betriebe sperren GPTBot und lassen OAI-SearchBot zu, um sichtbar zu bleiben, ohne das Training zu erlauben.

Soll ich GPTBot sperren?

Das hängt von deinem Ziel ab. Sperrst du GPTBot, signalisierst du OpenAI, dass deine Inhalte nicht für das Training verwendet werden sollen. Für die Sichtbarkeit in der ChatGPT-Suche ist OAI-SearchBot zuständig. Entscheide also nach deiner Strategie und nicht pauschal aus Vorsicht.

Was ist Google-Extended und beeinflusst es mein Google-Ranking?

Google-Extended ist ein Kontroll-Token in der robots.txt, mit dem du steuerst, ob deine Inhalte für das Training künftiger Gemini-Modelle und für Grounding in Gemini-Apps genutzt werden. Laut Google hat es keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal.

Muss ich etwas Besonderes tun, um in Google AI Overviews zu erscheinen?

Nein, laut Google gibt es keine zusätzlichen Anforderungen und keine speziellen Optimierungen für AI Overviews oder den AI Mode. Deine Seite muss indexiert und mit Snippet für die Suche zugelassen sein. Eine Garantie für eine Anzeige gibt es nicht, aber solide SEO-Grundlagen bleiben die Basis.

Halten sich alle KI-Bots an die robots.txt?

Nein, nicht in jedem Fall. OpenAI schreibt, dass robots.txt-Regeln bei ChatGPT-User möglicherweise nicht gelten, und Perplexity erklärt, dass Perplexity-User robots.txt in der Regel ignoriert, weil ein Nutzer den Abruf auslöst. Für vertrauliche Inhalte brauchst du deshalb ein Login oder serverseitige Regeln.

Wie lange dauert es, bis Änderungen an der robots.txt wirken?

Bei OpenAIs OAI-SearchBot kann es laut Dokumentation rund 24 Stunden dauern, bis eine Änderung in den Suchergebnissen sichtbar wird. Bei anderen Anbietern fehlen oft genaue Angaben. Plane deshalb einige Tage ein und kontrolliere danach deine Server-Logs.

Was ist der Unterschied zwischen PerplexityBot und Perplexity-User?

PerplexityBot macht Websites in den Suchergebnissen von Perplexity auffindbar und wird laut Perplexity nicht für das Training von Basismodellen genutzt. Perplexity-User ruft Seiten ab, wenn eine Person eine Frage stellt, und ignoriert robots.txt in der Regel. Beide haben also unterschiedliche Aufgaben.

Wie teste ich meine robots.txt?

Rufe die Datei unter deiner Domain im Browser auf und prüfe, ob alle Zeilen korrekt erscheinen. Zusätzlich zeigt dir der robots.txt-Bericht in der Google Search Console, ob die Datei fehlerfrei gelesen wird. Kontrolliere danach auch die Server-Logs, um zu sehen, welche Bots tatsächlich zugreifen.

Du willst deine robots.txt nicht selbst anfassen oder suchst eine Website, die für klassische und KI-Suche sauber aufgestellt ist? Wir schauen uns deine Situation gerne an und richten alles passend zu deinen Zielen ein. Nimm einfach Kontakt mit uns auf.