Programma Les 223 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Meer functies dan ruimte: superpositie

Waarom dit ertoe doet Als elke eenheid één ding betekende, zou het lezen van een netwerk makkelijk zijn. Meestal doen ze dat niet, en het speelmodel van Elhage et al. (2022) laat zien waarom: een netwerk kan meer kenmerken opslaan dan het getallen heeft, zolang de kenmerken maar zelden tegelijk aanstaan.

Het speelgoed: 5 kenmerken, elk meestal 0 en anders een getal tussen 0 en 1. Een matrix W (2 bij 5) drukt ze samen tot slechts 2 getallen, h = W x, en het model leest ze terug als relu(WT h + b). Kenmerk i doet 0.9i ertoe in de loss (kenmerk 0 het meest). Kolom i van W is de richting waar kenmerk i is opgeslagen; een kolom dicht bij nul betekent dat het kenmerk is weggegooid.

interp.superposition(sparsity=s) traint het (s = de kans dat elke feature 0 is). interp.stored(W) lijst de features die het heeft behouden op en interp.angles(W) de hoeken tussen hen.

Voorspel eerst: wanneer features zelden aan staan (sparsity 0.97), hoeveel van de 5 kunnen 2 getallen behouden?

Woorden en symbolen in deze les
superposition
storing meer features dan er getallen zijn, als richtingen die zelden samen voorkomen
Jij bent aan de beurt

Zet my_guess op een getal van 2 tot 5. Train bij sparsity 0, 0.7 en 0.97 (seed 0) en vul kept[s] met het aantal opgeslagen features, en smallest_angle[s] met de kleinste hoek tussen twee opgeslagen features.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.