Kurrikulum Leson 157 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Jou enjin, in PyTorch-terme

Waarom dit saak maak Jy sal PyTorch (of 'n ander raamwerk) die dag ná hierdie kursus ontmoet. Alles wat jy gebou het pas by dit; net 'n paar konvensies verskil, en dit veroorsaak die meeste foute wanneer mense kode oordra.

PyTorch kan nie in hierdie blutser loop nie, so hierdie les verander die kursus se arrays na PyTorch se layouts met NumPy, en kontroleer die omskakeling presies.

roep begin het
DingHierdie kursusPyTorch
Lineêre gewigW is (n_in, n_out), uitvoer x @ W + bweight is (out, in), output x @ weight.T + bias
Beginnende gewigtenormaal met spread sqrt(2 / n_in) (He) vir elke laag, bias 0nn.Linear standaard: uniform binne ongeveer ±1 / sqrt(n_in), bias is ook uniform
Beeldekanale laaste, (N, H, W, C)kanale eerste, (N, C, H, W)
Conv gewig(k × k × C_in, C_out), rye gesorteer volgens (row, column, channel)(C_out, C_in, k, k)
BatchNorm loopende variansiedie batch-variansie gedeel deur ndie onbevooroorde een, deel deur n - 1 (normalisering gebruik steeds n)
Maak gradiënte skoondie huis Adam.step()vee hulle self wegjy roep optimizer.zero_grad() elke stap
Watter tensors hou .gradelke knoop van die graf net blaar-tensore soos gewigte, tensy jy retain_grad()
GELUz * sigmoid(1.702 z), 'n benaderingdie presiese vorm met erf by verstaan; approximate='tanh' vir die vinnige een
LSTMone gewigmatriks op [x, h], vergeet van bias wat by 1 of 3skei input en hidden weights met twee biases, almal begin klein en willekeurig
Tiny GPT blokReLU, geen biases in sy lineêre lae nie: 12d² + 4d gewigteGPT-2: GELU en vooroordele: 12d² + 13d

Nie een van hierdie is verkeerd nie; dit is keuses. Die een wat stilweg 'n poort breek is die layouts: 'n transposed Linear weight of 'n channels-last image gee verkeerde nommers sonder 'n fout wanneer die groottes toevallig ooreenstem.

Woorde en simbole in hierdie les
head
one van H narrower attentions loop langs mekaar, elk met sy eie patroon
Jou beurt

Skryf linear_to_torch(W, b) wat PyTorch se (weight, bias), nhwc_to_nchw(X), conv_to_torch(w, c_in) teruggee wat die (C_out, C_in, k, k) gewig teruggee, en unbiased(var, n) wat 'n variansie wat deur n gedeel word na een wat deur n - 1 deel. Die verborge toets hardloop 'n kanale-eers konwolusie wat op die PyTorch-wyse met jou gewigte geskryf is en vergelyk dit met die kursus se conv.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.