Kurrikulum Leson 148 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Aandag het geen sin vir volgorde nie

Waarom dit saak maak "Hond byt man" en "man byt hond" gebruik dieselfde woorde. Self-attention kan dit op sy eie nie onderskei nie. Om te sien waarom verduidelik die ekstra bestanddeel wat elke transformer byvoeg.

Skuif die rye van X en self-attention se uitvoer-rye word op dieselfde manier geskuif, niks anders verander nie. Elke posisie se resultaat hang af van watter vektore teenwoordig is, nie waar hulle sit nie. (Met die causal mask is dit nie heeltemal waar nie: posisie i sien presies i + 1 tokens, so 'n model kan leer om hulle te tel, en kausale modelle sonder posisie-vektore leer wel orde op daardie manier. Maar dit is stadig en onbetroubaar; eksplisiete posisie-vektore maak orde maklik.)

So transformers voeg 'n position vector by by elke token se embedding voor die eerste laag. Die opgetekende GPT het een vektor per posisie geleer, 32 van hulle. Wat gebeur met sy voorspellings as ons dit vee uit?

Woorde en simbole in hierdie les
aandag
softmax van query-key-skorings, gebruik om die waardes te gemiddelde
self-attention
elke posisie let op die posisies van dieselfde teks
causal mask
skorres bo die diagonaal word gestel op min-oneindig: geen posisie sien die toekoms nie
posisievektor
is bygevoeg by elke token sodat aandag die volgorde kan vertel
Jou beurt

Skryf shuffle_check(f): Waar as die permutering van die rye van 'n willekeurige X die uitsetrye van f op dieselfde manier permuteer. Hier gee f(X, Wq, Wk, Wv) net die uitset, soos attn hieronder; maak willekeurige X en gewigte binne shuffle_check. Vul dan with_pos en without_pos in: die opgetekende model se gehoude verlies (model.eval_loss(held, n=32)) soos dit is en met model.P["pos"].data gestel op nulle (sit dit daarna terug).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.