Deine Engine, in PyTorch-Begriffen
Warum das wichtig ist Du wirst PyTorch (oder ein anderes Framework) am Tag nach diesem Kurs treffen. Alles, was du gebaut hast, lässt sich darauf übertragen; nur wenige Konventionen unterscheiden sich, und sie verursachen die meisten Bugs, wenn Leute Code portieren.
PyTorch kann in diesem Browser nicht ausgeführt werden, also konvertiert diese Lektion die Arrays des Kurses mit NumPy in PyTorch Layouts und prüft die Konvertierung genau.
| Thing | Dieser Kurs | PyTorch |
|---|---|---|
| Lineares Gewicht | W ist (n_in, n_out), Ausgabe x @ W + b | weight ist (out, in), Ausgabe x @ weight.T + bias |
| Anfangsgewichte | normal mit spread sqrt(2 / n_in) (He) für jede Schicht, bias 0 | nn.Linear standard: gleichmäßig innerhalb von etwa ±1 / sqrt(n_in), bias ebenfalls gleichmäßig |
| Images | channels last, (N, H, W, C) | channels zuerst, (N, C, H, W) |
| Conv weight | (k × k × C_in, C_out), Zeilen sortiert nach (row, column, channel) | (C_out, C_in, k, k) |
| BatchNorm laufende Varianz | die Batch-Varianz geteilt durch n | der unvoreingenommene, durch n - 1 dividieren (die Normalisierung nutzt immer noch n) |
| Gradienten löschen | das Haus Adam.step()räumt sie selbst auf | du nennst optimizer.zero_grad() jeden Schritt |
Welche Tensoren behalten .grad | jeder Knoten des Graphen | nur Blatt-Tensoren wie Gewichte, es sei denn, du rufst retain_grad() |
| GELU | z * sigmoid(1.702 z), eine Annäherung | die exakte Form mit erf standardmäßig; approximate='tanh' für die schnelle |
| LSTM | one Gewichtungsmatrix auf [x, h], forget bias begann bei 1 oder 3 | Trenne Eingabe und versteckte Gewichte mit zwei Biases, alle klein und zufällig gestartet |
| Tiny GPT Block | ReLU, keine Biases in seinen linearen Schichten: 12d² + 4d Gewichte | GPT-2: GELU und Biases: 12d² + 13d |
Keines davon ist falsch; es sind Entscheidungen. Diejenigen, die einen Port stillschweigend zerstören, sind die Layouts: ein transponiertes Linear weight oder ein channels-last image liefert falsche Zahlen ohne Fehler, wenn die Größen zufällig übereinstimmen.
Wörter und Symbole in dieser Lektion
- head
- one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
Schreibe linear_to_torch(W, b) zurückgebend PyTorchs (weight, bias), nhwc_to_nchw(X), conv_to_torch(w, c_in) zurückgebend das (C_out, C_in, k, k) Gewicht, und unbiased(var, n) wandelnd eine Varianz, die durch n geteilt wird, in eine, die durch n - 1 teilt. Der versteckte Test führt eine channels-first Konvolution aus, geschrieben auf die PyTorch Weise mit deinen Gewichten, und vergleicht sie mit dem conv des Kurses.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.