L'attenzione è una ricerca morbida
Perché è importante L'attenzione è l'unica idea nuova di un transformer. Tutto il resto lo conosci già. È una ricerca in un dizionario che, invece di scegliere una voce, le mescola tutte.
Guardalo
Avvia l'animazione. Un dizionario Python cerca una chiave esatta e restituisce un valore. L'attenzione ha una query q, una lista di key e una lista di value. Dà un punteggio alla query contro ogni key con un prodotto scalare, trasforma i punteggi in pesi con la softmax (positivi, che sommano a 1), e restituisce la media pesata dei value.
weights = softmax(K @ q)
output = weights @ V
Numeri piccolissimi
q = [1, 0]. Le key [2, 0], [0, 2], [0, 0] danno i punteggi 2, 0, 0. Softmax: e^2 = 7.39 e 1 e 1, quindi i pesi sono 0.79, 0.11, 0.11. Con i value 10, 20, 30 l'output è 0.79 per 10 + 0.11 per 20 + 0.11 per 30 = 13.2: soprattutto il primo value, un po' degli altri.
Query, key, value: che cosa sto cercando; che cosa offre ogni elemento per essere confrontato; che cosa consegna ogni elemento se corrisponde.
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
Scrivi attend(q, K, V) per una query: restituisci (weights, output).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.