Programma Lezione 142 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Perché dividere per la radice quadrata di d

Perché è importante Ogni transformer divide i suoi punteggi di attenzione per la radice quadrata della dimensione delle key. Toglila e l'attenzione smette di mescolare e i suoi gradienti quasi svaniscono. Misurerai perché.

Un prodotto scalare di due vettori casuali di lunghezza d somma d prodotti. Ognuno ha dispersione circa 1, quindi la somma ha dispersione circa la radice quadrata di d. Il motivo: quando sommi numeri casuali indipendenti, non si sommano le loro dispersioni, si sommano i loro quadrati (i quadrati si chiamano varianze). d prodotti, ognuno con varianza 1, danno varianza d, quindi la dispersione è la radice quadrata di d. Per d = 64 fa 8.

Punteggi sparsi su più e meno 8 o più rendono la softmax quasi one-hot: un peso vicino a 1, gli altri vicini a 0. Una softmax one-hot ha gradienti minuscoli: la pendenza di ogni output rispetto al proprio punteggio è p(1 - p), che è vicina a 0 quando p è vicino a 0 o a 1 (la lezione sul gradiente della softmax del Modulo 2 la ricava, e la lezione di questo modulo sulla passata all'indietro nell'attenzione la usa), quindi il modello impara lentamente. Dividere per la radice quadrata di d riporta la dispersione a circa 1, qualunque sia d.

Prevedi: man mano che d cresce da 4 a 256, che cosa succede al peso più grande, con e senza la divisione?

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
Tocca a te

Compila my_guess. Poi scrivi top_weight(d, scaled): 2,000 query casuali contro 32 key casuali ciascuna (numeri normali, seme 0), la media del peso softmax più grande. Riempi measured.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.