Lehrplan Lektion 223 von 246 · Modul 21: Ein Blick in ein Modell
Modul 21: Ein Blick in ein Modell

Mehr Funktionen als Raum: Superposition

Warum das wichtig ist Wenn jede Einheit eine Sache bedeuten würde, wäre das Lesen eines Netzwerks einfach. Normalerweise tun sie das nicht, und das Spielzeugmodell von Elhage et al. (2022) zeigt warum: ein Netzwerk kann mehr Merkmale speichern als es Zahlen hat, solange die Merkmale selten gleichzeitig aktiv sind.

Das Spielzeug: 5 Merkmale, jedes ist meistens 0 und ansonsten eine Zahl zwischen 0 und 1. Eine Matrix W (2 mal 5) presst sie in nur 2 Zahlen, h = W x, und das Modell liest sie als relu(WT h + b) wieder aus. Merkmal i zählt 0.9i so viel im Verlust (Merkmal 0 am meisten). Spalte i von W ist die Richtung, in der Merkmal i gespeichert ist; eine Spalte nahe Null bedeutet, dass das Merkmal entfernt wurde.

interp.superposition(sparsity=s) trainiert es (s = die Chance, dass jedes Merkmal 0 ist). interp.stored(W) listet die Merkmale auf, die es behalten hat, und interp.angles(W) die Winkel zwischen ihnen.

Vorhersage zuerst: wenn Features selten an sind (Sparsity 0.97), wie viele der 5 können 2 Zahlen behalten?

Wörter und Symbole in dieser Lektion
superposition
mehr Merkmale speichern als es Zahlen gibt, als Richtungen, die selten zusammen vorkommen
Du bist dran

Setze my_guess auf eine Zahl von 2 bis 5. Trainiere bei Sparsity 0, 0.7 und 0.97 (seed 0) und fülle kept[s] mit der Anzahl der gespeicherten Features und smallest_angle[s] mit dem kleinsten Winkel zwischen zwei gespeicherten Features.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.