Aandag is 'n sagte soekopvraag
Waarom dit saak maak Attention is die een nuwe idee in 'n transformer. Alles anders weet jy reeds. Dit is 'n dictionary lookup wat, in plaas daarvan om een inskrywing te kies, almal van hulle meng.
Sien dit
Speel die animasi af. 'n Python dictionary pas presies by 'n sleutel en gee een waarde terug. Attention het 'n query q, 'n lys van keys en 'n lys van values. Dit skêr die query teen elke sleutel met 'n dot product, verander die skæres in gewigte met softmax (positief, tel by tot 1), en gee die gewigtgemiddelde van die waardes terug.
weights = softmax(K @ q)
output = weights @ V
Klein getalle
q = [1, 0]. Sleutels [2, 0], [0, 2], [0, 0] gee punte 2, 0, 0. Softmax: e^2 = 7.39 en 1 en 1, so die gewigte is 0.79, 0.11, 0.11. Met waardes 10, 20, 30 is die uitset 0.79 maal 10 + 0.11 maal 20 + 0.11 maal 30 = 13.2: meestal die eerste waarde, 'n bietjie van die ander.
Query, key, value: wat ek soek; op wat elke item ooreenstem; wat elke item oorhandig as dit ooreenstem.
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
- aandag
- softmax van query-key-scores, gebruik om die waardes te gemiddelde
Skryf attend(q, K, V) vir een navraag: gee (weights, output).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.