Je engine, in PyTorch termen
Waarom dit ertoe doet Je zult PyTorch (of een ander framework) de dag na deze cursus tegenkomen. Alles wat je hebt gebouwd komt overeen met het; slechts een paar conventies verschillen, en die veroorzaken de meeste bugs wanneer mensen code overzetten.
PyTorch kan niet draaien in deze browser, dus deze les zet de arrays van de cursus om naar de layouts van PyTorch met NumPy, en controleert de conversie precies.
| Thing | Deze cursus | PyTorch |
|---|---|---|
| Lineair gewicht | W is (n_in, n_out), output x @ W + b | weight is (uit, in), output x @ weight.T + bias |
| Beginnende gewichten | normal met spread sqrt(2 / n_in) (He) voor elke laag, bias 0 | nn.Linear standaard: uniform binnen ongeveer ±1 / sqrt(n_in), bias ook uniform |
| Images | kanalen laatste, (N, H, W, C) | kanalen eerst, (N, C, H, W) |
| Conv weight | (k × k × C_in, C_Out), rijen gesorteerd op (row, column, channel) | (C_out, C_in, k, k) |
| BatchNorm running variance | de batch variantie delen door n | de onbevooroordeelde, door n - 1 delen (normaliseren gebruikt nog steeds n) |
| Clearing gradients | het huis Adam.step()veegt ze zelf schoon | je noemt optimizer.zero_grad() elke stap |
Welke tensors houden .grad | elk elke node van de grafiek | alleen leaf tensors zoals weights, tenzij je retain_grad() | aanroept
| GELU | z * sigmoid(1.702 z), een benadering | de exacte vorm met erf standaard; approximate='tanh' voor de snelle versie |
| LSTM | one gewichtsmatrix op [x, h], vergeet bias begon bij 1 of 3 | scheid de input en hidden weights met twee biases, allemaal klein en willekeurig gestart |
| Tiny GPT blok | ReLU, geen biases in zijn lineaire lagen: 12d² + 4d weights | GPT-2: GELU en biases: 12d² + 13d |
Geen van deze is fout; het zijn keuzes. De opties die een poort stilletjes breken zijn de layouts: een getransponeerde Linear weight of een channels-last image geeft verkeerde getallen zonder foutmelding wanneer de groottes toevallig overeenkomen.
Woorden en symbolen in deze les
- head
- one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
Schrijf linear_to_torch(W, b) die de (weight, bias) van PyTorch retourneert, nhwc_to_nchw(X), conv_to_torch(w, c_in) die het (C_out, C_in, k, k) gewicht retourneert, en unbiased(var, n) die een variantie die gedeeld wordt door n verandert in een die gedeeld wordt door n - 1. De verborgen test voert een channels-first convolutie uit geschreven op de PyTorch manier met jouw gewichten en vergelijkt deze met de conv van de cursus.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.