OpenAI, Google, Microsoft e Anthropic apoiam um robots.txt de exclusão única para treinamento de IA

OpenAI, Google, Microsoft e Anthropic apoiaram um único sinal de robots.txt que permite que sites informem várias empresas de IA ao mesmo tempo se suas páginas podem ser usadas para treinamento de IA [1][2][4]. O sinal vem de um rascunho do IETF escrito por um líder de padrões da Anthropic e publicado em 30 de outubro de 2026 [3][4].

O que é o novo sinal de treinamento de IA?

Operadores de sites adicionam um grupo ao robots.txt identificado por um token de política compartilhado em vez de nomear cada rastreador de IA [2][3]. O rascunho do IETF diz que uma regra Disallow sob esse token expressa uma preferência contra o treinamento de IA, enquanto caminhos Allow expressam uma preferência a favor [3].

O rascunho não adiciona novas diretivas ou gramática, então os analisadores de robots.txt existentes simplesmente ignoram o grupo [3]. No rascunho, o token é "__usage_ai-training", e um grupo curinga não deve ser lido como correspondente a ele [3].

Quem apoia e quando?

OpenAI disse que honrará um sinal comum de robots.txt para treinamento de IA e pretende implementá-lo nos próximos meses. A empresa diz que seus controles de rastreador existentes continuarão a se aplicar [1].

Google disse que planeja apoiar o controle compartilhado de treinamento de IA junto com outros provedores de IA em 2027. Se um site optar por sair com o token e não nomear Google-Extended, o Google planeja tratá-lo como se Google-Extended estivesse desativado [2].

Anthropic já adotou o sinal, enquanto Google e Microsoft planejam apoiá-lo no próximo ano, relata The Verge. A Microsoft também oferecerá exclusões separadas para treinamento e para grounding, e os sites permanecem nos resultados do Bing de qualquer forma, de acordo com o The Verge [4].

Meta sinalizou apoio, mas não disse se honrará o token, relata o The Verge [4].

Por que isso importa para os editores?

Até agora, os sites tinham que listar cada rastreador de IA separadamente e manter essas regras atualizadas [1][4]. O Google diz que a proposta reflete pedidos de editores, grupos da sociedade civil e reguladores por controles de treinamento em toda a indústria [2].

O Google também diz que a abordagem se encaixa no Código de Prática da UE para modelos de IA de propósito geral, que reconhece robots.txt como uma forma principal de expressar preferências legíveis por máquina [2]. O sinal permanece voluntário e ainda é um rascunho no IETF [1][3].

Nossa leitura

Opinião: Uma linha no robots.txt que os quatro maiores laboratórios prometem respeitar é uma verdadeira vitória de usabilidade para os editores. Mas ainda é uma preferência voluntária, não uma licença ou um bloqueio, e cobre apenas treinamento futuro, então as disputas sobre scraping passado e pagamento permanecem intactas.

O que não pudemos verificar

• Anúncios próprios da Microsoft e da Anthropic; suas posições são citadas do The Verge.
• Datas exatas de implementação além de "nos próximos meses" (OpenAI) e 2027 (Google).
• Se o conteúdo já coletado para treinamento é afetado; nenhuma das fontes diz isso.