Made with AI
解釈可能性の研究者は、ニューラルネットは思ったよりきれいだと論じる
もし彼が正しければ、解釈可能性の研究のかなりの部分は、想定より小さい問題を解いていることになる。まだ論文ではなく、仮説だ。
筆者 編集部, ニュース · · 1分で読める
タグ: 解釈可能性 · Goodfire · 研究 · Qwen
- このニュース
- もし彼が正しければ、解釈可能性の研究のかなりの部分は、想定より小さい問題を解いていることになる。まだ論文ではなく、仮説だ。
- なぜ重要か
- GoodfireのNick Cammarataは、Qwen3-32Bで監査したニューロンの約90%には主な仕事が一つあると言い、この分野が重ね合わせに注目してきたことに異議を唱えている。
- 確認できたこと
- 写真はこの記事のために生成したものです。本文で名の挙がる人物は写っていません。
名前のある出典に紐づく。検証済みとは記していない。 Goodfire Research
ニュース
解釈可能性のスタートアップ Goodfire の Nick Cammarata は、「ニューラルネットはきれいだ」（Neural networks are clean）と題したエッセイを公開した。現代のネットワークのほとんどのニューロンは個別に理解でき、重ね合わせ、つまりネットワークが互いに無関係な概念を一つのニューロンへ多数詰め込むことは、この分野が想定するよりはるかに稀だ、と論じている。Qwen3-32B の予備的な監査で、ニューロンの極の約 90% は主な仕事を一つ、約 7% は関連する仕事を二つ持ち、2% から 4% はまだ理解されていない、と報告している。
なぜ重要か
重ね合わせをほどくために作られたスパースオートエンコーダが、解釈可能性を支配している。ニューロンがほとんどきれいなら、最先端モデルをニューロン単位で直接監査することが現実的になる。
詳細
Cammarata はまた、InceptionV1 の最終層における混ざったニューロンの古典的な例は、アーキテクチャと道具の問題から来たものであり、見かけの多義性は、学習中にニューロンが関連する分枝を伸ばすことがほとんどだ、と論じている。
彼はこれを作業仮説として置いている。割合は閾値に依存し、標本は小さく、対になる論文はまだ出ていない。エッセイは Hacker News で 560 ポイントを超えた。
確認できなかったこと
- 査読付きの論文も、追試も、まだ存在しない。
- 割合は、著者自身の閾値に依存する。