Die kausale masker: nie spypel nie
Waarom dit saak maak 'n Model wat opgelei is om die volgende karakter te voorspel, mag nie die volgende karakter sien nie. Sonder 'n masker kan dit die antwoord eenvoudig kopieer, goed lyk tydens opleiding, en dan faal wanneer dit genereer, want tydens generering bestaan die toekoms nog nie nie.
Sien dit
Speel die animasi af. Posisie i mag slegs na posisies 0 tot i kyk. Voor die softmax word elke telling bo die diagonaal gestel op minus infinity, so sy gewig word presies 0. Die gewigte vorm dan 'n onderste driehoek.
Die toets vir 'n lek is direk: verander 'n karakter by posisie j, en niks wat die model vir posisies voor j bereken mag verander nie.
Wanneer die kursus 'n breedte-32 GPT vir 1,200 stappe sonder die masker opgelei het, het sy opleiingsverlies tot 0.10 gedaal, teen 1.51 met die masker: dit het geleer om die antwoord vanaf die volgende posisie te kopieer, amper perfek. Gematig gemeet, op ongesiene teks en sonder om dit vooruit te laat kyk, was sy verlies 8.6 teen 2.3. Die laer getal was 'n leuen: die model was veel swakker. (Aan die begin, by 400 stappe, het die twee weergawes nog soortgelyk gelyk, 2.28 teen 2.24. Kopieer neem 'n rukkie om te ontdek, en dan neem dit oor.)
Woorde en simbole in hierdie les
- aandag
- softmax van query-key scores, gebruik om die waardes te gemiddelde
- causal mask
- skorres bo die diagonaal word gestel op min-oneindig: geen posisie sien die toekoms nie
- head
- one van H nouer aandag wat langs mekaar loop, elk met sy eie patroon
Skryf causal_attention(X, Wq, Wk, Wv) soos les 4 maar gemaskeer. Dan leaks(f): gee True terug as die verandering van die laaste ry van 'n willekeurige X enige vroeëre ry van f se uitset verander. Hier is f enige aandagfunksie wat soos joune genoem word, f(X, Wq, Wk, Wv), wat (output, weights) teruggee; maak willekeurige X en gewigte binne leaks.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.