Il tuo motore, nei termini di PyTorch
Perché è importante Incontrerai PyTorch (o un altro framework) il giorno dopo questo corso. Tutto ciò che hai costruito si mappa su di esso; differiscono solo alcune convenzioni, e causano la maggior parte dei bug quando si porta il codice.
PyTorch non può girare in questo browser, quindi questa lezione converte gli array del corso nelle disposizioni di PyTorch con NumPy, e controlla esattamente la conversione.
| Cosa | Questo corso | PyTorch |
|---|---|---|
| Peso lineare | W è (n_in, n_out), output x @ W + b | weight è (out, in), output x @ weight.T + bias |
| Pesi iniziali | normali con dispersione sqrt(2 / n_in) (He) per ogni layer, bias 0 | predefinito di nn.Linear: uniformi entro circa ±1 / sqrt(n_in), anche il bias uniforme |
| Immagini | canali in fondo, (N, H, W, C) | canali all'inizio, (N, C, H, W) |
| Peso conv | (k × k × C_in, C_out), righe ordinate per (riga, colonna, canale) | (C_out, C_in, k, k) |
| Varianza mobile di BatchNorm | la varianza del batch dividendo per n | quella non distorta, dividendo per n - 1 (la normalizzazione usa comunque n) |
| Azzerare i gradienti | l'Adam.step() di casa li azzera da sé | chiami tu optimizer.zero_grad() a ogni passo |
Quali tensori tengono .grad | ogni nodo del grafo | solo i tensori foglia come i pesi, a meno che tu non chiami retain_grad() |
| GELU | z * sigmoid(1.702 z), un'approssimazione | la forma esatta con erf per impostazione predefinita; approximate='tanh' per quella veloce |
| LSTM | una matrice di pesi su [x, h], forget bias che parte da 1 o 3 | pesi separati per input e stato nascosto con due bias, tutti che partono piccoli e casuali |
| Blocco del minuscolo GPT | ReLU, niente bias nei suoi layer lineari: 12d² + 4d pesi | GPT-2: GELU e bias: 12d² + 13d |
Nessuna di queste è sbagliata; sono scelte. Quelle che rompono in silenzio un porting sono le disposizioni: un peso Linear trasposto o un'immagine con i canali in fondo danno numeri sbagliati senza nessun errore quando le dimensioni per caso coincidono.
Parole e simboli di questa lezione
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Scrivi linear_to_torch(W, b) che restituisce (weight, bias) di PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) che restituisce il peso (C_out, C_in, k, k), e unbiased(var, n) che trasforma una varianza che divideva per n in una che divide per n - 1. Il test nascosto esegue una convoluzione con i canali all'inizio scritta alla maniera di PyTorch con i tuoi pesi e la confronta con la conv del corso.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.