Molte teste, stesso costo
Perché è importante Un solo schema di attenzione per layer è limitante: una posizione potrebbe voler guardare il carattere precedente e, allo stesso tempo, l'inizio della parola. L'attenzione multi-testa esegue diverse attenzioni più piccole una accanto all'altra.
Guardalo
Avvia l'animazione. Dividi le d colonne di Q, K e V in H gruppi di d / H. Ogni gruppo (una testa) fa la propria attenzione con il proprio schema. Incolla di nuovo gli H output uno accanto all'altro in d colonne, poi mescolali con un'altra matrice Wo.
Il costo: le stesse matrici di una sola testa grande, solo tagliate a pezzi, quindi il numero di parametri non cambia. Ogni testa è più stretta, quindi divide per la radice quadrata di d / H.
Parole e simboli di questa lezione
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Scrivi multi_head(X, Wq, Wk, Wv, Wo, H) (senza maschera), che restituisce l'output e una lista di H matrici di attenzione.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.