Was angekündigt ist
Bisher braucht jeder KI-Anbieter seine eigene Regel in der robots.txt, bei Google heißt sie Google-Extended. Dazu soll laut Google eine gemeinsame Regel kommen, die für alle teilnehmenden Anbieter gilt. Einen Entwurf dafür gibt es bei der IETF, und denselben Namen nennt Google in seiner Crawler-Dokumentation:
User-Agent: __usage_ai-training Disallow: /
Disallow bedeutet, dass du dem Training widersprichst, Allow, dass du zustimmst. Das lässt sich wie gewohnt je Pfad festlegen. Eine Sammelregel für alle Crawler (User-Agent: *) zählt dabei nicht als Aussage zum Training, und ohne die neue Regel hast du schlicht keine Präferenz geäußert.
Noch ist das ein Vorschlag. Den Entwurf hat Kevin Kelley von Anthropic eingereicht, die IETF hat ihn bisher nicht gebilligt. Google schreibt im Blogbeitrag von 2027 und in der Dokumentation von „early 2027“. Welche Anbieter außerdem mitmachen, nennt Google nicht. Es verweist aber auf den EU-Verhaltenskodex für KI-Modelle, der die robots.txt als primären Weg für solche maschinenlesbaren Angaben anerkennt.
Was die Regel bei Google mit abschaltet
Steht die neue Regel mit Disallow in der Datei und Google-Extended nirgends, will Google das so behandeln, als wäre Google-Extended gesperrt. Dieser Schalter regelt laut Dokumentation zwei Dinge zusammen: das Training künftiger Gemini-Modelle und das sogenannte Grounding in den Gemini-Apps, bei dem das Modell während der Antwort Inhalte aus dem Google-Index bekommt.
In der Ankündigung steht dazu: „Websites that specifically allow Google-Extended are eligible to appear in responses and receive clicks via grounding in Gemini Apps.“ Wer Google-Extended ausdrücklich erlaubt, kann also über das Grounding in Gemini-Antworten auftauchen und Klicks bekommen.
Daraus lesen wir: Wer mit der gemeinsamen Regel nur das Training ausschließen will, kann damit auch als Quelle in Gemini-Antworten wegfallen. So wörtlich steht das bei Google nirgends, es folgt aus den beiden Texten zusammen.
Die eigenen Regeln der Anbieter gelten weiter, du kannst also einzeln entscheiden. So sähe es aus, wenn du alle teilnehmenden Anbieter ausschließt und Google zulässt:
User-Agent: __usage_ai-training Disallow: / User-Agent: Google-Extended Allow: /
Das Allow gilt dann aber für beides, Google darf also auch trainieren. „Nicht trainieren, aber in Gemini auftauchen“ lässt sich mit Google-Extended in seiner heutigen Form nicht einstellen.
Was gleich bleibt
Auf die normale Google-Suche wirkt Google-Extended laut Dokumentation nicht: Es beeinflusst weder die Aufnahme in die Suche noch das Ranking. Für AI Overviews und AI Mode gibt es einen eigenen Schalter, die Einstellung für generative KI in der Search Console. Sie gilt für die ganze Website.
Auch das Crawling bleibt eine eigene Sache. Der Entwurf sagt ausdrücklich, dass die neue Regel kein Befehl fürs Crawlen ist, ein Bot kann deine Seite also weiter abrufen. Wer das begrenzen will, braucht wie bisher Regeln für die einzelnen Crawler.
Die Zeile Content-Signal, die wir in unserem Wissensartikel beschreiben, ist ein anderer Vorschlag. Googles Ankündigung erwähnt sie nicht, und wer sie gesetzt hat, kann sie stehen lassen.
Was du tun solltest
Im Moment nichts. Google unterstützt die Regel noch nicht, und solange sie nicht in deiner robots.txt steht, äußerst du damit auch 2027 keine Präferenz.
Einem Café, einem Handwerksbetrieb oder einer Praxis raten wir auch später davon ab, sie zu setzen. Für solche Betriebe zählt, dass sie in Antworten genannt werden. Anders kann es bei Inhalten aussehen, von denen jemand lebt, etwa bei Fachartikeln, Fotos oder Kursen. Dort lohnt es sich, 2027 den fertigen Stand anzusehen und dann Anbieter für Anbieter zu entscheiden.
Steht Google-Extended heute schon in deiner Datei, ändert die neue Regel daran nichts, denn die ausdrückliche Angabe geht bei Google vor. Und wenn ein Dienst deine robots.txt mitpflegt, etwa Cloudflare, sieh 2027 einmal nach, was dort steht.