Posisies as golwe
Waarom dit saak maak Geleerde posisievektore stop by die langste teks wat tydens opleiding gesien is. Die oorspronklike transformer het vaste golwe gebruik. Dit gee elke posisie 'n unieke patroon en laat "3 stappe ver" oral dieselfde lyk.
Vir posisie p en paar-indeks i (0, 1, 2, ...), met d getalle in totaal:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
Die eerste paar is 'n vinnige golf, latere pare word stadiger en stadiger, soos die wysers van 'n horlosie: sekondes, minute, ure. Saam gee hulle vir elke posisie 'n duidelike waarde.
Die nuttige eienskap: die stipproduk PE[p] . PE[p + k] hang net af van k, die afstand, nie van p nie. (Elke paar dra by tot die cosinus van die hoekverskil, deur die identiteit sin a sin b + cos a cos b = cos(a - b).)
Waar die veld nou is Die meeste oop taalmodelle vandag gebruik nie golwe wat by die input gevoeg word of geleerde posisievektore nie. RoPE (rotary position embedding, Su et al. 2021) roteer elke query en key vektor by 'n hoek wat saam met sy posisie groei, na die query en key projekties, sodat die telling tussen twee posisies net afhang van hoe ver hulle van mekaar af is. ALiBi (Press et al. 2021) voeg glad nie posisievektore by nie: dit trek 'n straf af van elke attention telling wat saam met afstand groei. Albei werk beter vir tekste wat langer is as die opleidingsones. Die golwe hier is die oorspronklike transformer se keuse en die maklikste om te sien.
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
- aandag
- softmax van query-key-telling, gebruik om die waardes te gemiddelde
- posisievektor
- is bygevoeg by elke token sodat aandag die volgorde kan vertel
Skryf positions(n, d) wat 'n n by d array teruggee. Stel dan same_distance in op die grootste verskil tussen PE[p] . PE[p + 5] oor p = 0 tot 50 (dit moet feitueel 0 wees).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.