Programma Les 157 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Je engine, in PyTorch termen

Waarom dit ertoe doet Je zult PyTorch (of een ander framework) de dag na deze cursus tegenkomen. Alles wat je hebt gebouwd komt overeen met het; slechts een paar conventies verschillen, en die veroorzaken de meeste bugs wanneer mensen code overzetten.

PyTorch kan niet draaien in deze browser, dus deze les zet de arrays van de cursus om naar de layouts van PyTorch met NumPy, en controleert de conversie precies.

aanroept
ThingDeze cursusPyTorch
Lineair gewichtW is (n_in, n_out), output x @ W + bweight is (uit, in), output x @ weight.T + bias
Beginnende gewichtennormal met spread sqrt(2 / n_in) (He) voor elke laag, bias 0nn.Linear standaard: uniform binnen ongeveer ±1 / sqrt(n_in), bias ook uniform
Imageskanalen laatste, (N, H, W, C)kanalen eerst, (N, C, H, W)
Conv weight(k × k × C_in, C_Out), rijen gesorteerd op (row, column, channel)(C_out, C_in, k, k)
BatchNorm running variancede batch variantie delen door nde onbevooroordeelde, door n - 1 delen (normaliseren gebruikt nog steeds n)
Clearing gradientshet huis Adam.step()veegt ze zelf schoonje noemt optimizer.zero_grad() elke stap
Welke tensors houden .gradelk elke node van de grafiekalleen leaf tensors zoals weights, tenzij je retain_grad()
GELUz * sigmoid(1.702 z), een benaderingde exacte vorm met erf standaard; approximate='tanh' voor de snelle versie
LSTMone gewichtsmatrix op [x, h], vergeet bias begon bij 1 of 3scheid de input en hidden weights met twee biases, allemaal klein en willekeurig gestart
Tiny GPT blokReLU, geen biases in zijn lineaire lagen: 12d² + 4d weightsGPT-2: GELU en biases: 12d² + 13d

Geen van deze is fout; het zijn keuzes. De opties die een poort stilletjes breken zijn de layouts: een getransponeerde Linear weight of een channels-last image geeft verkeerde getallen zonder foutmelding wanneer de groottes toevallig overeenkomen.

Woorden en symbolen in deze les
head
one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
Jij bent aan de beurt

Schrijf linear_to_torch(W, b) die de (weight, bias) van PyTorch retourneert, nhwc_to_nchw(X), conv_to_torch(w, c_in) die het (C_out, C_in, k, k) gewicht retourneert, en unbiased(var, n) die een variantie die gedeeld wordt door n verandert in een die gedeeld wordt door n - 1. De verborgen test voert een channels-first convolutie uit geschreven op de PyTorch manier met jouw gewichten en vergelijkt deze met de conv van de cursus.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.