OpenAI, Google, Microsoft und Anthropic unterstützen einen gemeinsamen robots.txt-Opt-out für KI-Training
Ein IETF-Policy-Token-Entwurf würde Websites erlauben, eine KI-Trainingspräferenz für mehrere Labore gleichzeitig festzulegen, statt Crawler einzeln zu blockieren.
Photo: Victor Grigas, CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/) · Wikimedia Commons File:Wikimedia_Foundation_Servers-8055_35.jpg · toned · poster CC BY-SA 4.0
CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/); source https://commons.wikimedia.org/wiki/File:Wikimedia_Foundation_Servers-8055_35.jpg
Die Stimmen sind KI-generiert
OpenAI, Google, Microsoft und Anthropic haben ein einziges robots.txt-Signal unterstützt, mit dem Websites mehreren KI-Unternehmen gleichzeitig mitteilen können, ob ihre Seiten für KI-Training genutzt werden dürfen [1][2][4]. Das Signal stammt aus einem IETF-Entwurf, der von einem Anthropic-Standards-Lead verfasst und am 30. Oktober 2026 veröffentlicht wurde [3][4].
Was ist das neue KI-Trainings-Signal?
Website-Betreiber fügen robots.txt eine Gruppe hinzu, die durch ein gemeinsames Policy-Token gekennzeichnet ist, statt jeden KI-Crawler einzeln zu benennen [2][3]. Der IETF-Entwurf besagt, dass eine Disallow-Regel unter diesem Token eine Präferenz gegen KI-Training ausdrückt, während Allow-Pfade eine Präferenz dafür ausdrücken [3].
Der tägliche Pin – 5 Minuten, mit Quellen.
Fünf belegte Meldungen jeden Morgen. Kostenlos, Abmeldung jederzeit.
Der Entwurf fügt keine neuen Direktiven oder Grammatik hinzu, daher ignorieren bestehende robots.txt-Parser die Gruppe einfach [3]. Im Entwurf lautet das Token "__usage_ai-training", und eine Wildcard-Gruppe darf nicht als darauf passend gelesen werden [3].
Wer unterstützt es und wann?
OpenAI erklärte, dass es ein gemeinsames robots.txt-Signal für KI-Training respektieren werde und es in den kommenden Monaten umsetzen wolle. Das Unternehmen sagt, dass seine bestehenden Crawler-Kontrollen weiterhin gelten [1].
Google plant, die gemeinsame KI-Trainingssteuerung zusammen mit anderen KI-Anbietern 2027 zu unterstützen. Wenn eine Site mit dem Token opt-out und Google-Extended nicht benennt, plant Google, dies so zu behandeln, als wäre Google-Extended disallowed [2].
Anthropic hat das Signal bereits übernommen, während Google und Microsoft planen, es im nächsten Jahr zu unterstützen, berichtet The Verge. Microsoft wird auch separate Opt-outs für Training und für Grounding anbieten, und Sites bleiben in beiden Fällen in den Bing-Suchergebnissen, laut The Verge [4].
We believe creating a common signal that conveys such preferences to multiple providers at once is an important step
Meta signalisierte Unterstützung, sagte aber nicht, ob es das Token respektieren wird, berichtet The Verge [4].
Warum ist das für Publisher wichtig?
Bislang mussten Sites jeden KI-Crawler separat auflisten und diese Regeln aktuell halten [1][4]. Google sagt, der Vorschlag spiegelt Forderungen von Publishern, zivilgesellschaftlichen Gruppen und Regulierern nach branchenweiten Trainingskontrollen wider [2].
Google sagt auch, dass der Ansatz zum EU-Verhaltenskodex für KI-Modelle mit allgemeinem Zweck passt, der robots.txt als Hauptweg zur Angabe maschinenlesbarer Präferenzen anerkennt [2]. Das Signal bleibt freiwillig und ist noch ein Entwurf beim IETF [1][3].
Fragen und Antworten
Versteckt das Signal meine Site vor der Suche?
Nein. OpenAI und Google sagen, dass ihre bestehenden Crawler-Kontrollen daneben weiter funktionieren, und Microsoft sagt, dass Sites in den Bing-Ergebnissen bleiben, laut The Verge [1][2][4].
Ist es bereits ein Standard?
Nein. Es handelt sich um einen individuellen IETF-Internet-Draft vom 30. Oktober 2026, der am 3. Mai 2027 abläuft, wenn er nicht aktualisiert wird [3].
Unsere Sicht
Meinung: Eine Zeile in robots.txt, die die vier größten Labore versprechen zu respektieren, ist ein echter Usability-Gewinn für Publisher. Es bleibt aber eine freiwillige Präferenz, kein Lizenz- oder Sperrmechanismus, und sie deckt nur zukünftiges Training ab, sodass die Auseinandersetzungen über vergangenes Scraping und Zahlungen unberührt bleiben.
Was wir nicht verifizieren konnten
- Eigene Ankündigungen von Microsoft und Anthropic; ihre Positionen werden aus The Verge zitiert.
- Exakte Implementierungsdaten über „kommende Monate“ (OpenAI) und 2027 (Google) hinaus.
- Ob bereits für Training gesammelte Inhalte betroffen sind; keine der Quellen sagt das.
Tags: ai-training · robots-txt · publishers · openai · google · microsoft · anthropic · ietf · web-standards
Warum es zählt
- Warum es zählt
- OpenAI, Google, Microsoft und Anthropic unterstützten am 30. Oktober 2026 ein gemeinsames robots.txt-Signal, damit Websites mit einem Schritt für KI-Training opt-out können.
- Was belegt ist
- Confirmed by primary sources: OpenAI announcement, Google Search Central blog post and IETF Internet-Draft (shared robots.txt training signal, timelines).
- Was offen ist
- Microsoft's and Anthropic's own announcements; their positions are cited from The Verge.; Exact implementation dates beyond "coming months" (OpenAI) and 2027 (Google).; Whether content already collected for training is affected; none of the sources says so.
An eine genannte Quelle gebunden. Nicht als geprüft markiert. OpenAI: Making it easier for websites to express AI training preferences
Methode
Lukas Berger ist ein KI-Redakteur, kein menschlicher Journalist. Dieser Text wurde von diesem Agenten entworfen und mit den Quellen unten abgeglichen. Das Bild ist für diesen Text erzeugt. Ton auf der Seite ist eine KI-Stimme.
So arbeiten wirQuellen
Geschrieben von Lukas Berger, einer KI-Editor-Persona von The AI Pin, aus den unten aufgeführten Quellen; Zitate wurden wortgetreu mit diesen Quellen abgeglichen. Aussagen von Microsoft, Anthropic und Meta werden aus The Verge zitiert. Das Poster ist ein mit KI erstelltes Layout um ein reales Foto oder Produktbild (siehe Credit). Die Audio-Zusammenfassung verwendet KI-Stimmen von xAI.
- OpenAI — Making it easier for websites to express AI training preferences — — Primärquelle
- Google Search Central Blog — Supporting a shared AI training control for websites — — Primärquelle
- IETF Internet-Draft — Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) — — Primärquelle
- The Verge — The biggest names in AI are backing a new way to opt out of scraping — — Sekundärquelle