Programma Lezione 141 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

L'attenzione è una ricerca morbida

Perché è importante L'attenzione è l'unica idea nuova di un transformer. Tutto il resto lo conosci già. È una ricerca in un dizionario che, invece di scegliere una voce, le mescola tutte.

Guardalo

Avvia l'animazione. Un dizionario Python cerca una chiave esatta e restituisce un valore. L'attenzione ha una query q, una lista di key e una lista di value. Dà un punteggio alla query contro ogni key con un prodotto scalare, trasforma i punteggi in pesi con la softmax (positivi, che sommano a 1), e restituisce la media pesata dei value.

weights = softmax(K @ q)
output  = weights @ V

Numeri piccolissimi

q = [1, 0]. Le key [2, 0], [0, 2], [0, 0] danno i punteggi 2, 0, 0. Softmax: e^2 = 7.39 e 1 e 1, quindi i pesi sono 0.79, 0.11, 0.11. Con i value 10, 20, 30 l'output è 0.79 per 10 + 0.11 per 20 + 0.11 per 30 = 13.2: soprattutto il primo value, un po' degli altri.

Query, key, value: che cosa sto cercando; che cosa offre ogni elemento per essere confrontato; che cosa consegna ogni elemento se corrisponde.

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
Tocca a te

Scrivi attend(q, K, V) per una query: restituisci (weights, output).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.