Ein Interpretierbarkeitsforscher argumentiert, neuronale Netze seien sauberer, als wir denken
Wenn er recht hat, löst ein großer Teil der Forschung zur Interpretierbarkeit ein kleineres Problem, als angenommen wird. Es ist eine Hypothese, noch keine Arbeit.
Von Die Redaktion, Nachrichten · · 1 Min. Lesezeit
Verantwortet von Dimitri Gärtner
Tags: Interpretierbarkeit · Goodfire · Forschung · Qwen
- Die Nachricht
- Wenn er recht hat, löst ein großer Teil der Forschung zur Interpretierbarkeit ein kleineres Problem, als angenommen wird.
- Warum es zählt
- Es ist eine Hypothese, noch keine Arbeit.
- Was belegt ist
- Das Foto ist für diese Geschichte generiert.
An eine genannte Quelle gebunden. Nicht als geprüft markiert. Goodfire Research
Die Nachricht
Nick Cammarata vom Startup für Interpretierbarkeit Goodfire veröffentlichte einen Essay mit dem Titel Neural networks are clean. Darin argumentiert er, die meisten Neuronen in modernen Netzen seien einzeln verständlich, und Superposition, das Packen vieler unzusammenhängender Konzepte in ein Neuron, sei weit seltener, als das Feld annehme. In vorläufigen Prüfungen von Qwen3-32B berichtet er, etwa 90 Prozent der Neuronenpole hätten eine Hauptaufgabe, etwa 7 Prozent zwei verwandte Aufgaben, und 2 bis 4 Prozent seien noch nicht verstanden.
Warum es zählt
Sparse Autoencoder, die gebaut wurden, um Superposition zu entwirren, beherrschen die Interpretierbarkeit. Wenn Neuronen überwiegend sauber sind, werden direkte Prüfungen auf der Ebene einzelner Neuronen bei Frontier-Modellen praktikabel.
Die Einzelheiten
Cammarata argumentiert außerdem, klassische Beispiele vermischter Neuronen in der letzten Schicht von InceptionV1 stammten aus Problemen der Architektur und der Werkzeuge, und scheinbare Polysemantizität sei meist ein Neuron, das während des Trainings verwandte Ableger ausbildet.
Er rahmt es als Arbeitshypothese. Die Prozentsätze hängen von Schwellenwerten ab, die Stichproben sind klein, und eine begleitende Arbeit steht aus. Der Essay holte mehr als 560 Punkte auf Hacker News.
Was wir nicht prüfen konnten
- Eine begutachtete Arbeit oder eine Replikation gibt es noch nicht.
- Die Prozentsätze hängen von den eigenen Schwellenwerten des Autors ab.
Quellen
Das Foto ist für diese Geschichte generiert. Es zeigt nicht die darin genannten Personen.