Programma Les 224 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Ontmengen: een sparse autoencoder

Waarom dit ertoe doet Als features in superpositie zijn opgeslagen, zul je ze niet vinden door naar de eenheden te kijken. Een sparse autoencoder (Bricken et al. 2023, Cunningham et al. 2023) probeert dit ongedaan te maken: bouw elke vector op vanuit veel meer richtingen dan het aantal getallen heeft, maar slechts een paar tegelijk.

Neem de 64-getal vectoren van de GPT na blok 1, voor 19,200 tekens van de lestekst. Een sparse autoencoder met 256 features berekent f = relu(z We + be) en bouwt z = f Wd opnieuw op. De loss is de rebuild fout plus l1 keer de totale grootte van f, wat de meeste features naar precies nul duwt.

interp.train_sae(A, features=256, l1=...) traint één; sae.unexplained(A) is het deel van de spreiding van de vectoren dat de herbouw mist (0 is perfect) en sae.features(A) geeft f.

Voorspel eerst: met een sterke push (l1 = 0.3), zal de rebuild nog steeds het grootste deel van de spread verklaren (onverklaard onder 0.2)?

Woorden en symbolen in deze les
superposition
storing meer features dan er getallen zijn, als richtingen die zelden samen voorkomen
sparse autoencoder
een brede laag getraind om vectoren te herbouwen vanuit een paar actieve kenmerken tegelijk
Jij bent aan de beurt

Zet my_guess op "yes" of "no". Train bij l1 0.03 en 0.3 (600 stappen van elk 128 vectoren). Vul unexplained[l1] in voor de vastgehouden vectoren A_new, en active[l1]: het gemiddelde aantal kenmerken boven nul per vastgehouden karakter.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.