Kurrikulum Leson 149 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Posisies as golwe

Waarom dit saak maak Geleerde posisievektore stop by die langste teks wat tydens opleiding gesien is. Die oorspronklike transformer het vaste golwe gebruik. Dit gee elke posisie 'n unieke patroon en laat "3 stappe ver" oral dieselfde lyk.

Vir posisie p en paar-indeks i (0, 1, 2, ...), met d getalle in totaal:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

Die eerste paar is 'n vinnige golf, latere pare word stadiger en stadiger, soos die wysers van 'n horlosie: sekondes, minute, ure. Saam gee hulle vir elke posisie 'n duidelike waarde.

Die nuttige eienskap: die stipproduk PE[p] . PE[p + k] hang net af van k, die afstand, nie van p nie. (Elke paar dra by tot die cosinus van die hoekverskil, deur die identiteit sin a sin b + cos a cos b = cos(a - b).)

Waar die veld nou is Die meeste oop taalmodelle vandag gebruik nie golwe wat by die input gevoeg word of geleerde posisievektore nie. RoPE (rotary position embedding, Su et al. 2021) roteer elke query en key vektor by 'n hoek wat saam met sy posisie groei, na die query en key projekties, sodat die telling tussen twee posisies net afhang van hoe ver hulle van mekaar af is. ALiBi (Press et al. 2021) voeg glad nie posisievektore by nie: dit trek 'n straf af van elke attention telling wat saam met afstand groei. Albei werk beter vir tekste wat langer is as die opleidingsones. Die golwe hier is die oorspronklike transformer se keuse en die maklikste om te sien.

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
aandag
softmax van query-key-telling, gebruik om die waardes te gemiddelde
posisievektor
is bygevoeg by elke token sodat aandag die volgorde kan vertel
Jou beurt

Skryf positions(n, d) wat 'n n by d array teruggee. Stel dan same_distance in op die grootste verskil tussen PE[p] . PE[p + 5] oor p = 0 tot 50 (dit moet feitueel 0 wees).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.