Programma Lezione 157 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Il tuo motore, nei termini di PyTorch

Perché è importante Incontrerai PyTorch (o un altro framework) il giorno dopo questo corso. Tutto ciò che hai costruito si mappa su di esso; differiscono solo alcune convenzioni, e causano la maggior parte dei bug quando si porta il codice.

PyTorch non può girare in questo browser, quindi questa lezione converte gli array del corso nelle disposizioni di PyTorch con NumPy, e controlla esattamente la conversione.

CosaQuesto corsoPyTorch
Peso lineareW è (n_in, n_out), output x @ W + bweight è (out, in), output x @ weight.T + bias
Pesi inizialinormali con dispersione sqrt(2 / n_in) (He) per ogni layer, bias 0predefinito di nn.Linear: uniformi entro circa ±1 / sqrt(n_in), anche il bias uniforme
Immaginicanali in fondo, (N, H, W, C)canali all'inizio, (N, C, H, W)
Peso conv(k × k × C_in, C_out), righe ordinate per (riga, colonna, canale)(C_out, C_in, k, k)
Varianza mobile di BatchNormla varianza del batch dividendo per nquella non distorta, dividendo per n - 1 (la normalizzazione usa comunque n)
Azzerare i gradientil'Adam.step() di casa li azzera da séchiami tu optimizer.zero_grad() a ogni passo
Quali tensori tengono .gradogni nodo del grafosolo i tensori foglia come i pesi, a meno che tu non chiami retain_grad()
GELUz * sigmoid(1.702 z), un'approssimazionela forma esatta con erf per impostazione predefinita; approximate='tanh' per quella veloce
LSTMuna matrice di pesi su [x, h], forget bias che parte da 1 o 3pesi separati per input e stato nascosto con due bias, tutti che partono piccoli e casuali
Blocco del minuscolo GPTReLU, niente bias nei suoi layer lineari: 12d² + 4d pesiGPT-2: GELU e bias: 12d² + 13d

Nessuna di queste è sbagliata; sono scelte. Quelle che rompono in silenzio un porting sono le disposizioni: un peso Linear trasposto o un'immagine con i canali in fondo danno numeri sbagliati senza nessun errore quando le dimensioni per caso coincidono.

Parole e simboli di questa lezione
testa
una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Tocca a te

Scrivi linear_to_torch(W, b) che restituisce (weight, bias) di PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) che restituisce il peso (C_out, C_in, k, k), e unbiased(var, n) che trasforma una varianza che divideva per n in una che divide per n - 1. Il test nascosto esegue una convoluzione con i canali all'inizio scritta alla maniera di PyTorch con i tuoi pesi e la confronta con la conv del corso.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.