Kurrikulum Leson 145 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Die kausale masker: nie spypel nie

Waarom dit saak maak 'n Model wat opgelei is om die volgende karakter te voorspel, mag nie die volgende karakter sien nie. Sonder 'n masker kan dit die antwoord eenvoudig kopieer, goed lyk tydens opleiding, en dan faal wanneer dit genereer, want tydens generering bestaan die toekoms nog nie nie.

Sien dit

Speel die animasi af. Posisie i mag slegs na posisies 0 tot i kyk. Voor die softmax word elke telling bo die diagonaal gestel op minus infinity, so sy gewig word presies 0. Die gewigte vorm dan 'n onderste driehoek.

Die toets vir 'n lek is direk: verander 'n karakter by posisie j, en niks wat die model vir posisies voor j bereken mag verander nie.

Wanneer die kursus 'n breedte-32 GPT vir 1,200 stappe sonder die masker opgelei het, het sy opleiingsverlies tot 0.10 gedaal, teen 1.51 met die masker: dit het geleer om die antwoord vanaf die volgende posisie te kopieer, amper perfek. Gematig gemeet, op ongesiene teks en sonder om dit vooruit te laat kyk, was sy verlies 8.6 teen 2.3. Die laer getal was 'n leuen: die model was veel swakker. (Aan die begin, by 400 stappe, het die twee weergawes nog soortgelyk gelyk, 2.28 teen 2.24. Kopieer neem 'n rukkie om te ontdek, en dan neem dit oor.)

Woorde en simbole in hierdie les
aandag
softmax van query-key scores, gebruik om die waardes te gemiddelde
causal mask
skorres bo die diagonaal word gestel op min-oneindig: geen posisie sien die toekoms nie
head
one van H nouer aandag wat langs mekaar loop, elk met sy eie patroon
Jou beurt

Skryf causal_attention(X, Wq, Wk, Wv) soos les 4 maar gemaskeer. Dan leaks(f): gee True terug as die verandering van die laaste ry van 'n willekeurige X enige vroeëre ry van f se uitset verander. Hier is f enige aandagfunksie wat soos joune genoem word, f(X, Wq, Wk, Wv), wat (output, weights) teruggee; maak willekeurige X en gewigte binne leaks.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.