Jou enjin, in PyTorch-terme
Waarom dit saak maak Jy sal PyTorch (of 'n ander raamwerk) die dag ná hierdie kursus ontmoet. Alles wat jy gebou het pas by dit; net 'n paar konvensies verskil, en dit veroorsaak die meeste foute wanneer mense kode oordra.
PyTorch kan nie in hierdie blutser loop nie, so hierdie les verander die kursus se arrays na PyTorch se layouts met NumPy, en kontroleer die omskakeling presies.
| Ding | Hierdie kursus | PyTorch |
|---|---|---|
| Lineêre gewig | W is (n_in, n_out), uitvoer x @ W + b | weight is (out, in), output x @ weight.T + bias |
| Beginnende gewigte | normaal met spread sqrt(2 / n_in) (He) vir elke laag, bias 0 | nn.Linear standaard: uniform binne ongeveer ±1 / sqrt(n_in), bias is ook uniform |
| Beelde | kanale laaste, (N, H, W, C) | kanale eerste, (N, C, H, W) |
| Conv gewig | (k × k × C_in, C_out), rye gesorteer volgens (row, column, channel) | (C_out, C_in, k, k) |
| BatchNorm loopende variansie | die batch-variansie gedeel deur n | die onbevooroorde een, deel deur n - 1 (normalisering gebruik steeds n) |
| Maak gradiënte skoon | die huis Adam.step()vee hulle self weg | jy roep optimizer.zero_grad() elke stap |
Watter tensors hou .grad | elke knoop van die graf | net blaar-tensore soos gewigte, tensy jy retain_grad() | roep
| GELU | z * sigmoid(1.702 z), 'n benadering | die presiese vorm met erf by verstaan; approximate='tanh' vir die vinnige een |
| LSTM | one gewigmatriks op [x, h], vergeet van bias wat by 1 of 3 | begin hetskei input en hidden weights met twee biases, almal begin klein en willekeurig |
| Tiny GPT blok | ReLU, geen biases in sy lineêre lae nie: 12d² + 4d gewigte | GPT-2: GELU en vooroordele: 12d² + 13d |
Nie een van hierdie is verkeerd nie; dit is keuses. Die een wat stilweg 'n poort breek is die layouts: 'n transposed Linear weight of 'n channels-last image gee verkeerde nommers sonder 'n fout wanneer die groottes toevallig ooreenstem.
Woorde en simbole in hierdie les
- head
- one van H narrower attentions loop langs mekaar, elk met sy eie patroon
Skryf linear_to_torch(W, b) wat PyTorch se (weight, bias), nhwc_to_nchw(X), conv_to_torch(w, c_in) teruggee wat die (C_out, C_in, k, k) gewig teruggee, en unbiased(var, n) wat 'n variansie wat deur n gedeel word na een wat deur n - 1 deel. Die verborge toets hardloop 'n kanale-eers konwolusie wat op die PyTorch-wyse met jou gewigte geskryf is en vergelyk dit met die kursus se conv.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.