OpenAI, Google, Microsoft et Anthropic soutiennent une exclusion robots.txt unique pour l'entraînement IA

OpenAI, Google, Microsoft et Anthropic ont soutenu un signal robots.txt unique qui permet aux sites web d'indiquer à plusieurs entreprises d'IA à la fois si leurs pages peuvent être utilisées pour l'entraînement IA [1][2][4]. Le signal provient d'un projet IETF rédigé par un responsable des normes d'Anthropic et publié le 30 octobre 2026 [3][4].

Qu'est-ce que le nouveau signal d'entraînement IA ?

Les exploitants de sites web ajoutent un groupe à robots.txt identifié par un jeton de politique partagé au lieu de nommer chaque robot d'exploration IA [2][3]. Le projet IETF indique qu'une règle Disallow sous ce jeton exprime une préférence contre l'entraînement IA, tandis que les chemins Allow expriment une préférence en faveur [3].

Le projet n'ajoute aucune nouvelle directive ou grammaire, donc les analyseurs robots.txt existants ignorent simplement le groupe [3]. Dans le projet, le jeton est "__usage_ai-training", et un groupe générique ne doit pas être interprété comme correspondant à celui-ci [3].

Qui le soutient, et quand ?

OpenAI a déclaré qu'elle honorera un signal robots.txt commun pour l'entraînement IA et vise à le mettre en œuvre dans les mois à venir. La société indique que ses contrôles de robots d'exploration existants continueront de s'appliquer [1].

Google a déclaré qu'elle prévoit de prendre en charge le contrôle partagé de l'entraînement IA avec d'autres fournisseurs d'IA en 2027. Si un site se désengage avec le jeton et ne nomme pas Google-Extended, Google prévoit de le traiter comme si Google-Extended était interdit [2].

Anthropic a déjà adopté le signal, tandis que Google et Microsoft prévoient de le soutenir l'année prochaine, rapporte The Verge. Microsoft proposera également des exclusions distinctes pour l'entraînement et pour le grounding, et les sites restent dans les résultats de recherche Bing de toute façon, selon The Verge [4].

Meta a signalé son soutien mais n'a pas précisé si elle honorera le jeton, rapporte The Verge [4].

Pourquoi cela compte-t-il pour les éditeurs ?

Jusqu'à présent, les sites devaient lister chaque robot d'exploration IA séparément et tenir ces règles à jour [1][4]. Google indique que la proposition reflète les appels des éditeurs, des groupes de la société civile et des régulateurs en faveur de contrôles d'entraînement à l'échelle de l'industrie [2].

Google indique également que l'approche s'inscrit dans le Code de conduite de l'UE pour les modèles d'IA à usage général, qui reconnaît robots.txt comme un moyen principal d'exprimer des préférences lisibles par machine [2]. Le signal reste volontaire et est encore un projet à l'IETF [1][3].

Notre lecture

Avis : Une ligne dans robots.txt que les quatre plus grands laboratoires promettent de respecter est un vrai gain d'utilisabilité pour les éditeurs. Mais il s'agit encore d'une préférence volontaire, pas d'une licence ou d'un verrou, et elle ne couvre que l'entraînement futur, donc les combats sur le scraping passé et les paiements restent intacts.

Ce que nous n'avons pas pu vérifier

• Les annonces propres de Microsoft et Anthropic ; leurs positions sont citées de The Verge.
• Les dates d'implémentation exactes au-delà de "mois à venir" (OpenAI) et 2027 (Google).
• Si le contenu déjà collecté pour l'entraînement est affecté ; aucune des sources ne le précise.