Lehrplan Lektion 157 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Deine Engine, in PyTorch-Begriffen

Warum das wichtig ist Du wirst PyTorch (oder ein anderes Framework) am Tag nach diesem Kurs treffen. Alles, was du gebaut hast, lässt sich darauf übertragen; nur wenige Konventionen unterscheiden sich, und sie verursachen die meisten Bugs, wenn Leute Code portieren.

PyTorch kann in diesem Browser nicht ausgeführt werden, also konvertiert diese Lektion die Arrays des Kurses mit NumPy in PyTorch Layouts und prüft die Konvertierung genau.

ThingDieser KursPyTorch
Lineares GewichtW ist (n_in, n_out), Ausgabe x @ W + bweight ist (out, in), Ausgabe x @ weight.T + bias
Anfangsgewichtenormal mit spread sqrt(2 / n_in) (He) für jede Schicht, bias 0nn.Linear standard: gleichmäßig innerhalb von etwa ±1 / sqrt(n_in), bias ebenfalls gleichmäßig
Imageschannels last, (N, H, W, C)channels zuerst, (N, C, H, W)
Conv weight(k × k × C_in, C_out), Zeilen sortiert nach (row, column, channel)(C_out, C_in, k, k)
BatchNorm laufende Varianzdie Batch-Varianz geteilt durch nder unvoreingenommene, durch n - 1 dividieren (die Normalisierung nutzt immer noch n)
Gradienten löschendas Haus Adam.step()räumt sie selbst aufdu nennst optimizer.zero_grad() jeden Schritt
Welche Tensoren behalten .gradjeder Knoten des Graphennur Blatt-Tensoren wie Gewichte, es sei denn, du rufst retain_grad()
GELUz * sigmoid(1.702 z), eine Annäherungdie exakte Form mit erf standardmäßig; approximate='tanh' für die schnelle
LSTMone Gewichtungsmatrix auf [x, h], forget bias begann bei 1 oder 3Trenne Eingabe und versteckte Gewichte mit zwei Biases, alle klein und zufällig gestartet
Tiny GPT BlockReLU, keine Biases in seinen linearen Schichten: 12d² + 4d GewichteGPT-2: GELU und Biases: 12d² + 13d

Keines davon ist falsch; es sind Entscheidungen. Diejenigen, die einen Port stillschweigend zerstören, sind die Layouts: ein transponiertes Linear weight oder ein channels-last image liefert falsche Zahlen ohne Fehler, wenn die Größen zufällig übereinstimmen.

Wörter und Symbole in dieser Lektion
head
one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
Du bist dran

Schreibe linear_to_torch(W, b) zurückgebend PyTorchs (weight, bias), nhwc_to_nchw(X), conv_to_torch(w, c_in) zurückgebend das (C_out, C_in, k, k) Gewicht, und unbiased(var, n) wandelnd eine Varianz, die durch n geteilt wird, in eine, die durch n - 1 teilt. Der versteckte Test führt eine channels-first Konvolution aus, geschrieben auf die PyTorch Weise mit deinen Gewichten, und vergleicht sie mit dem conv des Kurses.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.