Un chercheur en interprétabilité soutient que les réseaux de neurones sont plus propres qu'on ne le pense

L'actualité

Nick Cammarata, de la startup d'interprétabilité Goodfire, a publié un essai intitulé Neural networks are clean. Il y soutient que la plupart des neurones des réseaux modernes sont compréhensibles un par un, et que la superposition, le fait que les réseaux tassent de nombreux concepts sans lien dans un seul neurone, est bien plus rare que le domaine ne le suppose. Dans des audits préliminaires de Qwen3-32B, il rapporte qu'environ 90 % des pôles de neurones ont une tâche principale, environ 7 % en ont deux, liées entre elles, et 2 à 4 % ne sont pas encore compris.

Pourquoi c'est important

Les autoencodeurs parcimonieux, conçus pour démêler la superposition, dominent l'interprétabilité. Si les neurones sont pour l'essentiel propres, des audits directs au niveau du neurone, sur les modèles de frontière, deviennent praticables.

Les détails

Cammarata soutient aussi que les exemples classiques de neurones mélangés, dans la dernière couche d'InceptionV1, venaient de problèmes d'architecture et d'outils, et que la polysémanticité apparente est surtout un neurone qui développe des ramifications liées pendant l'entraînement.

Il présente cela comme une hypothèse de travail. Les pourcentages dépendent de seuils, les échantillons sont petits, et un article compagnon est en attente. L'essai a dépassé 560 points sur Hacker News.

Ce que nous n'avons pas pu vérifier

• Aucun article évalué par les pairs, ni aucune réplication, n'existe encore.
• Les pourcentages dépendent des seuils propres à l'auteur.