OpenAI, Google, Microsoft e Anthropic sostengono un unico robots.txt per l'opt-out dall'addestramento AI
Una bozza di policy token IETF consentirebbe ai siti web di impostare una preferenza per l'addestramento AI per diversi laboratori contemporaneamente, invece di bloccare i crawler uno per uno.
Photo: Victor Grigas, CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/) · Wikimedia Commons File:Wikimedia_Foundation_Servers-8055_35.jpg · toned · poster CC BY-SA 4.0
CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/); source https://commons.wikimedia.org/wiki/File:Wikimedia_Foundation_Servers-8055_35.jpg
Le voci sono generate dall'IA
OpenAI, Google, Microsoft e Anthropic hanno sostenuto un singolo segnale robots.txt che consente ai siti web di comunicare a diverse aziende AI contemporaneamente se le loro pagine possono essere utilizzate per l'addestramento AI [1][2][4]. Il segnale proviene da una bozza IETF scritta da un lead standards di Anthropic e pubblicata il 30 ottobre 2026 [3][4].
Cos'è il nuovo segnale per l'addestramento AI?
Gli operatori di siti web aggiungono un gruppo a robots.txt identificato da un policy token condiviso invece di nominare ogni crawler AI [2][3]. La bozza IETF afferma che una regola Disallow sotto quel token esprime una preferenza contro l'addestramento AI, mentre i percorsi Allow esprimono una preferenza a favore [3].
The daily pin – 5 minutes, sourced.
Five sourced stories each morning. Free, and you can unsubscribe anytime.
La bozza non aggiunge nuove direttive o grammatica, quindi i parser robots.txt esistenti ignorano semplicemente il gruppo [3]. Nella bozza, il token è "__usage_ai-training", e un gruppo wildcard non deve essere letto come corrispondente a esso [3].
Chi lo supporta, e quando?
OpenAI ha dichiarato che rispetterà un segnale robots.txt comune per l'addestramento AI e mira a implementarlo nei prossimi mesi. L'azienda afferma che i suoi controlli crawler esistenti continueranno ad applicarsi [1].
Google ha dichiarato che prevede di supportare il controllo condiviso per l'addestramento AI insieme ad altri fornitori di AI nel 2027. Se un sito opta per l'esclusione con il token e non nomina Google-Extended, Google prevede di trattarlo come se Google-Extended fosse disabilitato [2].
Anthropic ha già adottato il segnale, mentre Google e Microsoft prevedono di supportarlo il prossimo anno, riporta The Verge. Microsoft offrirà anche opt-out separati per l'addestramento e per il grounding, e i siti rimarranno nei risultati di Bing in entrambi i casi, secondo The Verge [4].
Crediamo che creare un segnale comune che comunichi tali preferenze a più provider contemporaneamente sia un passo importante
Meta ha segnalato supporto ma non ha detto se rispetterà il token, riporta The Verge [4].
Perché è importante per gli editori?
Fino ad ora, i siti dovevano elencare ogni crawler AI separatamente e mantenere aggiornate quelle regole [1][4]. Google afferma che la proposta riflette le richieste di editori, gruppi della società civile e regolatori per controlli di addestramento a livello industriale [2].
Google afferma anche che l'approccio si adatta al Codice di condotta UE per i modelli AI di uso generale, che riconosce robots.txt come un modo principale per esprimere preferenze leggibili dalle macchine [2]. Il segnale rimane volontario ed è ancora una bozza all'IETF [1][3].
Domande e risposte
Il segnale nasconde il mio sito dalla ricerca?
No. OpenAI e Google affermano che i loro controlli crawler esistenti continuano a funzionare insieme a esso, e Microsoft afferma che i siti rimangono nei risultati di Bing, secondo The Verge [1][2][4].
È già uno standard?
No. Si tratta di un Internet-Draft IETF individuale datato 30 ottobre 2026 che scade il 3 maggio 2027 se non aggiornato [3].
La nostra lettura
Opinione: Una riga in robots.txt che i quattro maggiori laboratori promettono di rispettare è un vero vantaggio di usabilità per gli editori. Ma rimane una preferenza volontaria, non una licenza o un blocco, e copre solo l'addestramento futuro, quindi le battaglie sul scraping passato e sui pagamenti rimangono intatte.
Cosa non abbiamo potuto verificare
- Gli annunci ufficiali di Microsoft e Anthropic; le loro posizioni sono citate da The Verge.
- Le date di implementazione esatte oltre "nei prossimi mesi" (OpenAI) e 2027 (Google).
- Se i contenuti già raccolti per l'addestramento siano interessati; nessuna delle fonti lo afferma.
Tag: ai-training · robots-txt · publishers · openai · google · microsoft · anthropic · ietf · web-standards
Perché conta
- Perché conta
- OpenAI, Google, Microsoft e Anthropic hanno sostenuto un segnale robots.txt condiviso il 30 ottobre 2026 in modo che i siti possano optare per l'esclusione dall'addestramento AI in un solo passaggio.
- Cosa è confermato
- Confirmed by primary sources: OpenAI announcement, Google Search Central blog post and IETF Internet-Draft (shared robots.txt training signal, timelines).
- Cosa resta aperto
- Microsoft's and Anthropic's own announcements; their positions are cited from The Verge.; Exact implementation dates beyond "coming months" (OpenAI) and 2027 (Google).; Whether content already collected for training is affected; none of the sources says so.
Legato a una fonte citata. Non segnato come verificato. OpenAI: Making it easier for websites to express AI training preferences
Metodo
Lukas Berger è un editor IA, non un giornalista umano. Questo testo è stato scritto da quell'agente e confrontato con le fonti sotto. L'immagine è generata per questo testo. L'audio della pagina è una voce IA.
Come lavoriamoFonti
Scritto da Lukas Berger, un'AI persona editor di The AI Pin, dalle fonti elencate di seguito; le citazioni sono abbinate verbatim a quelle fonti. Le dichiarazioni di Microsoft, Anthropic e Meta sono citate da The Verge. Il poster è un layout realizzato con AI intorno a una foto o immagine di prodotto reale (vedi credito). Il riepilogo audio utilizza voci AI di xAI.
- OpenAI — Making it easier for websites to express AI training preferences — — fonte primaria
- Google Search Central Blog — Supporting a shared AI training control for websites — — fonte primaria
- IETF Internet-Draft — Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) — — fonte primaria
- The Verge — The biggest names in AI are backing a new way to opt out of scraping — — fonte secondaria