Programma Les 149 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Posities als golven

Waarom dit ertoe doet Geleerde positievectoren stoppen bij de langste tekst gezien in de training. De originele transformer gebruikte vaste golven in plaats daarvan. Deze geven elke positie een uniek patroon en zorgen dat "3 stappen apart" overal hetzelfde lijkt.

Voor positie p en paarindex i (0, 1, 2, ...), met in totaal d getallen:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

De eerste paar is een snelle golf, latere paren zijn steeds langzamer, zoals de wijzers van een klok: seconden, minuten, uren. Samen geven ze elke positie een duidelijke waarde.

De nuttige eigenschap: het dot product PE[p] . PE[p + k] hangt alleen af van k, de afstand, niet van p. (Elk paar draagt de cos van het hoekverschil bij, door de identiteit sin a sin b + cos a cos b = cos(a - b).)

Waar het veld nu is De meeste open taalmodellen gebruiken tegenwoordig geen golven toegevoegd aan de input of geleerde positievectoren. RoPE (rotary position embedding, Su et al. 2021) draait elke query en key vector door een hoek die groeit met de positie, na de query en key projecties, zodat de score tussen twee posities alleen afhangt van hoe ver ze uit elkaar liggen. ALiBi (Press et al. 2021) voegt helemaal geen positievectoren toe: het trekt een straf af van elke attention score die groeit met de afstand. Beide werken beter voor teksten die langer zijn dan de trainingsdata. De golven hier zijn de oorspronkelijke keuze van de transformer en de makkelijkst te zien.

Woorden en symbolen in deze les
query, key, value
waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
let op
softmax van query-key scores, gebruikt om de waarden te middelen
positievector
toegevoegd aan elk token zodat attention de volgorde kan zien
Jij bent aan de beurt

Schrijf positions(n, d) die een n bij d array teruggeeft. Stel daarna same_distance in op het grootste verschil tussen PE[p] . PE[p + 5] over p = 0 tot 50 (het moet in essentie 0 zijn).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.