Un investigador de interpretabilidad sostiene que las redes neuronales están más limpias de lo que creemos

La noticia

Nick Cammarata, de la startup de interpretabilidad Goodfire, publicó un ensayo titulado «Las redes neuronales son limpias» (Neural networks are clean), en el que sostiene que la mayoría de las neuronas de las redes modernas se pueden entender una a una y que la superposición, esto es, redes que meten muchos conceptos sin relación en una sola neurona, es mucho más rara de lo que el campo supone. En auditorías preliminares de Qwen3-32B informa de que alrededor del 90 por ciento de los polos neuronales tienen un trabajo principal, alrededor del 7 por ciento dos trabajos relacionados, y entre el 2 y el 4 por ciento todavía no se entienden.

Por qué importa

Los autocodificadores dispersos, hechos para desenredar la superposición, dominan la interpretabilidad. Si las neuronas están en su mayoría limpias, las auditorías directas, neurona a neurona, de los modelos de frontera pasan a ser viables.

Los detalles

Cammarata sostiene también que los ejemplos clásicos de neuronas mezcladas en la última capa de InceptionV1 venían de problemas de arquitectura y de herramientas, y que la polisemanticidad aparente es, sobre todo, una neurona que durante el entrenamiento desarrolla ramificaciones emparentadas.

Lo plantea como una hipótesis de trabajo. Los porcentajes dependen de los umbrales, las muestras son pequeñas y un artículo que lo acompaña está pendiente. El ensayo superó los 560 puntos en Hacker News.

Lo que no pudimos comprobar

• Todavía no hay un artículo con revisión por pares ni una replicación.
• Los porcentajes dependen de los umbrales del propio autor.