Perché dividere per la radice quadrata di d
Perché è importante Ogni transformer divide i suoi punteggi di attenzione per la radice quadrata della dimensione delle key. Toglila e l'attenzione smette di mescolare e i suoi gradienti quasi svaniscono. Misurerai perché.
Un prodotto scalare di due vettori casuali di lunghezza d somma d prodotti. Ognuno ha dispersione circa 1, quindi la somma ha dispersione circa la radice quadrata di d. Il motivo: quando sommi numeri casuali indipendenti, non si sommano le loro dispersioni, si sommano i loro quadrati (i quadrati si chiamano varianze). d prodotti, ognuno con varianza 1, danno varianza d, quindi la dispersione è la radice quadrata di d. Per d = 64 fa 8.
Punteggi sparsi su più e meno 8 o più rendono la softmax quasi one-hot: un peso vicino a 1, gli altri vicini a 0. Una softmax one-hot ha gradienti minuscoli: la pendenza di ogni output rispetto al proprio punteggio è p(1 - p), che è vicina a 0 quando p è vicino a 0 o a 1 (la lezione sul gradiente della softmax del Modulo 2 la ricava, e la lezione di questo modulo sulla passata all'indietro nell'attenzione la usa), quindi il modello impara lentamente. Dividere per la radice quadrata di d riporta la dispersione a circa 1, qualunque sia d.
Prevedi: man mano che d cresce da 4 a 256, che cosa succede al peso più grande, con e senza la divisione?
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
Compila my_guess. Poi scrivi top_weight(d, scaled): 2,000 query casuali contro 32 key casuali ciascuna (numeri normali, seme 0), la media del peso softmax più grande. Riempi measured.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.