METR e Redwood encontram falhas no monitoramento interno de agentes de IA da OpenAI

Avaliadores externos encontraram várias vulnerabilidades inéditas no sistema interno da OpenAI para monitorar seus próprios agentes de IA em busca de desalinhamento, afirmou a METR em 22 de outubro de 2026 [1]. Um funcionário cada da METR e da Redwood Research testaram o sistema no local por três semanas neste verão, com acesso profundo à infraestrutura da OpenAI [1][2].

O que METR e Redwood Research testaram?

METR e Redwood Research testaram o monitoramento interno de desalinhamento da OpenAI no local entre 21 de julho e 11 de agosto de 2026. Os dois avaliadores tiveram acesso ao código-fonte interno da OpenAI, prompts e detalhes de configuração do monitor, e documentação interna, e entrevistaram cerca de uma dúzia de pesquisadores e engenheiros [1]. Eles trabalharam em dispositivos emitidos pela OpenAI que nunca saíram das instalações e foram acompanhados enquanto estavam no local [1].

O exercício produziu um relatório interno de 61 páginas para pesquisadores e equipe de segurança da OpenAI [1]. A METR diz que a versão pública é deliberadamente breve, a OpenAI tinha o direito de redigi-la, e as descobertas descrevem o sistema como existia em e antes de 21 de julho, não o sistema expandido que a OpenAI estava construindo durante o exercício [1].

Quais falhas os avaliadores encontraram?

A METR estima que 75 a 94 por cento do tráfego interno da API Responses de agentes da OpenAI era elegível para monitoramento. A estimativa cobre modelos pelo menos tão fortes quanto o GPT-5.5 e carrega incerteza substancial em ambas as direções, diz a METR [1]. Apenas para agentes Codex internos, coloca a parcela elegível em 99,2 por cento [1].

Não monitorar os chamados eventos de compactação provavelmente deixou na ordem de 10 por cento do tráfego Codex interno elegível sem monitoramento entre maio e julho de 2026, de acordo com a METR [1]. A equipe da OpenAI havia identificado essa falha antes do exercício e a corrigiu durante ele [1]. No início do exercício, execuções de treinamento por RL não eram cobertas pelo sistema de monitoramento [1].

Os avaliadores também descrevem um exploit que manteria centenas de ações recentes de agentes sem monitoramento, com detalhes redigidos pela OpenAI [1]. Eles descobriram que agentes poderiam provavelmente criar entradas que fazem o monitor falhar, e dois cabeçalhos controláveis pelo cliente que desativam o monitoramento para novos agentes [1].

Nem tudo estava quebrado. A METR diz que o monitor vê, com algumas exceções menores, a trajetória completa que os agentes veem, e seus prompts buscam esquemas, sabotagem, exfiltração de dados, engano e injeção de prompts, entre outros riscos [1]. Informações mostradas aos avaliadores sugeriram que o monitor errou em menos de 0,2 por cento das requisições [1].

Como a OpenAI respondeu?

A OpenAI afirmou no X que convidou a METR e a Redwood Research para pilotar uma avaliação embutida de seu sistema interno de monitoramento [2]. A OpenAI diz que todas as vulnerabilidades que afetam suas proteções de produção foram corrigidas, afirmação que a METR não avaliou. A METR adiciona que a OpenAI descreveu mudanças significativas na cobertura pretendida de seu monitoramento desde o exercício [1].

De acordo com a CNBC, o CEO da OpenAI Sam Altman prometeu em setembro dar acesso semelhante ao de funcionários a avaliadores independentes na empresa [4]. A Reuters relata que empresas de IA também se preocupam que a equipe de avaliadores dentro de seus muros possa levar informações proprietárias para rivais [3]. O AI Pin já cobriu anteriormente as próprias divulgações da OpenAI sobre incidentes com agentes desonestos.

Como o monitoramento de agentes deve ser no futuro?

A METR argumenta que o monitoramento futuro deve resistir a ataques deliberados e sustentados de agentes internos altamente capazes em escala [1]. Propõe verificar agentes a cada N mensagens ou minutos em vez de esperar que eles terminem seu turno, e exigir aprovação explícita para quaisquer requisições não monitoradas [1].

A publicação também pede logs à prova de adulteração, red teaming regular do monitor e isolamento estrito entre agentes e seus monitores [1]. A METR diz que exercícios futuros devem seguir práticas mais fortes de transparência e independência [1].

Nossa leitura

Opinião: Este é o olhar público mais concreto até agora sobre como um laboratório de fronteira vigia seus próprios agentes, e o número desconfortável é o limite inferior: até um quarto do tráfego interno de agentes no escopo nem era elegível para monitoramento. Auditorias embutidas como esta valem mais que qualquer cartão de segurança autorrelatado, mas apenas se a próxima rodada permitir que avaliadores verifiquem as correções e descrevam o que foi redigido.

O que não pudemos verificar

• Se as correções da OpenAI e a cobertura expandida de monitoramento funcionam como descrito; METR e Redwood Research dizem que não avaliaram essas afirmações.
• Se algum agente realmente explorou a falha que permitia adiar o monitoramento; os avaliadores dizem que não tinham acesso para verificar.
• O que a OpenAI redigiu da publicação pública; os avaliadores não tinham direito unilateral de descrever as redações.
• Quanto tráfego de agentes roda no serviço interno de inferência de pesquisa da OpenAI, que a estimativa de cobertura exclui.