Ontmenging: 'n skaars outoencoder
Waarom dit saak maak As kenmerke in superposisie gestoor word, sal kyk na eenhede hulle nie vind nie. 'n Sparse autoencoder (Bricken et al. 2023, Cunningham et al. 2023) probeer dit ongedoen maak: bou elke vektor uit baie meer rigtings as wat dit nommers het, maar net 'n paar op een slag.
Neem die GPT se 64-getal vektore na blok 1, vir 19,200 karakters van les-teks. 'n Sparse autoencoder met 256 features bereken f = relu(z We + be) en bou z = f Wd weer op. Die verlies is die herbou-fout plus l1 maal die totale grootte van f, wat die meeste features presies na nul stoot.
interp.train_sae(A, features=256, l1=...) doen een; sae.unexplained(A) is die deel van die vektore se spreiding wat die herbou mis (0 is perfek) en sae.features(A) gee f.
Voorspel eerste: met 'n sterk stoot (l1 = 0.3), sal die herbou steeds die meeste van die spreiding verduidelik (verduidelik nie onder 0.2)?
Woorde en simbole in hierdie les
- superposition
- storing meer funksies as daar nommers is, soos rigtings wat selde saam is
- sparse autoencoder
- a wye laag wat getoë is om vektore te herbou vanaf 'n paar aktiewe kenmerke op een slag
Stel my_guess in op "yes" of "no". Skool by l1 0.03 en 0.3 (600 stappe van 128 vektore elk). Vul unexplained[l1] op die gehoue vektore A_new, en active[l1]: die gemiddelde aantal kenmerke bo nul per gehoue karakter.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.