Kurrikulum Leson 141 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Aandag is 'n sagte soekopvraag

Waarom dit saak maak Attention is die een nuwe idee in 'n transformer. Alles anders weet jy reeds. Dit is 'n dictionary lookup wat, in plaas daarvan om een inskrywing te kies, almal van hulle meng.

Sien dit

Speel die animasi af. 'n Python dictionary pas presies by 'n sleutel en gee een waarde terug. Attention het 'n query q, 'n lys van keys en 'n lys van values. Dit skêr die query teen elke sleutel met 'n dot product, verander die skæres in gewigte met softmax (positief, tel by tot 1), en gee die gewigtgemiddelde van die waardes terug.

weights = softmax(K @ q)
output  = weights @ V

Klein getalle

q = [1, 0]. Sleutels [2, 0], [0, 2], [0, 0] gee punte 2, 0, 0. Softmax: e^2 = 7.39 en 1 en 1, so die gewigte is 0.79, 0.11, 0.11. Met waardes 10, 20, 30 is die uitset 0.79 maal 10 + 0.11 maal 20 + 0.11 maal 30 = 13.2: meestal die eerste waarde, 'n bietjie van die ander.

Query, key, value: wat ek soek; op wat elke item ooreenstem; wat elke item oorhandig as dit ooreenstem.

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
aandag
softmax van query-key-scores, gebruik om die waardes te gemiddelde
Jou beurt

Skryf attend(q, K, V) vir een navraag: gee (weights, output).

terug

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.