Mehr Funktionen als Raum: Superposition
Warum das wichtig ist Wenn jede Einheit eine Sache bedeuten würde, wäre das Lesen eines Netzwerks einfach. Normalerweise tun sie das nicht, und das Spielzeugmodell von Elhage et al. (2022) zeigt warum: ein Netzwerk kann mehr Merkmale speichern als es Zahlen hat, solange die Merkmale selten gleichzeitig aktiv sind.
Das Spielzeug: 5 Merkmale, jedes ist meistens 0 und ansonsten eine Zahl zwischen 0 und 1. Eine Matrix W (2 mal 5) presst sie in nur 2 Zahlen, h = W x, und das Modell liest sie als relu(WT h + b) wieder aus. Merkmal i zählt 0.9i so viel im Verlust (Merkmal 0 am meisten). Spalte i von W ist die Richtung, in der Merkmal i gespeichert ist; eine Spalte nahe Null bedeutet, dass das Merkmal entfernt wurde.
interp.superposition(sparsity=s) trainiert es (s = die Chance, dass jedes Merkmal 0 ist). interp.stored(W) listet die Merkmale auf, die es behalten hat, und interp.angles(W) die Winkel zwischen ihnen.
Vorhersage zuerst: wenn Features selten an sind (Sparsity 0.97), wie viele der 5 können 2 Zahlen behalten?
Wörter und Symbole in dieser Lektion
- superposition
- mehr Merkmale speichern als es Zahlen gibt, als Richtungen, die selten zusammen vorkommen
Setze my_guess auf eine Zahl von 2 bis 5. Trainiere bei Sparsity 0, 0.7 und 0.97 (seed 0) und fülle kept[s] mit der Anzahl der gespeicherten Features und smallest_angle[s] mit dem kleinsten Winkel zwischen zwei gespeicherten Features.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.