Aandag het geen sin vir volgorde nie
Waarom dit saak maak "Hond byt man" en "man byt hond" gebruik dieselfde woorde. Self-attention kan dit op sy eie nie onderskei nie. Om te sien waarom verduidelik die ekstra bestanddeel wat elke transformer byvoeg.
Skuif die rye van X en self-attention se uitvoer-rye word op dieselfde manier geskuif, niks anders verander nie. Elke posisie se resultaat hang af van watter vektore teenwoordig is, nie waar hulle sit nie. (Met die causal mask is dit nie heeltemal waar nie: posisie i sien presies i + 1 tokens, so 'n model kan leer om hulle te tel, en kausale modelle sonder posisie-vektore leer wel orde op daardie manier. Maar dit is stadig en onbetroubaar; eksplisiete posisie-vektore maak orde maklik.)
So transformers voeg 'n position vector by by elke token se embedding voor die eerste laag. Die opgetekende GPT het een vektor per posisie geleer, 32 van hulle. Wat gebeur met sy voorspellings as ons dit vee uit?
Woorde en simbole in hierdie les
- aandag
- softmax van query-key-skorings, gebruik om die waardes te gemiddelde
- self-attention
- elke posisie let op die posisies van dieselfde teks
- causal mask
- skorres bo die diagonaal word gestel op min-oneindig: geen posisie sien die toekoms nie
- posisievektor
- is bygevoeg by elke token sodat aandag die volgorde kan vertel
Skryf shuffle_check(f): Waar as die permutering van die rye van 'n willekeurige X die uitsetrye van f op dieselfde manier permuteer. Hier gee f(X, Wq, Wk, Wv) net die uitset, soos attn hieronder; maak willekeurige X en gewigte binne shuffle_check. Vul dan with_pos en without_pos in: die opgetekende model se gehoude verlies (model.eval_loss(held, n=32)) soos dit is en met model.P["pos"].data gestel op nulle (sit dit daarna terug).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.