Um pesquisador de interpretabilidade argumenta que redes neurais são mais limpas do que pensamos

A notícia

Nick Cammarata, da startup de interpretabilidade Goodfire, publicou um ensaio intitulado “Neural networks are clean”, argumentando que a maioria dos neurônios em redes modernas é compreensível individualmente e que a superposição, redes empacotando muitos conceitos sem relação num único neurônio, é bem mais rara do que o campo supõe. Em auditorias preliminares do Qwen3-32B, ele relata que cerca de 90% dos polos de neurônios têm uma função principal, cerca de 7% duas funções relacionadas e de 2% a 4% ainda não são compreendidos.

Por que importa

Autoencoders esparsos feitos para desemaranhar a superposição dominam a interpretabilidade. Se os neurônios são em sua maioria limpos, auditorias diretas no nível do neurônio em modelos de fronteira se tornam práticas.

Os detalhes

Cammarata também argumenta que exemplos clássicos de neurônios misturados na última camada da InceptionV1 vieram de problemas de arquitetura e de ferramentas, e que a polissemanticidade aparente é, na maior parte, um neurônio criando ramos relacionados durante o treino.

Ele apresenta isso como uma hipótese de trabalho. Os percentuais dependem de limiares, as amostras são pequenas e um artigo complementar está pendente. O ensaio passou de 560 pontos no Hacker News.

O que não conseguimos checar

• Ainda não existe artigo revisado por pares nem replicação.
• Os percentuais dependem dos limiares do próprio autor.