Ein Transformer-Block, von Hand
Warum das wichtig ist Ein GPT ist derselbe gestapelte Block. Schreibe einen mit einfachem NumPy, führe ihn mit den echten Gewichten des aufgezeichneten Modells aus, und wenn deine Zahlen mit denen des Modells übereinstimmen, verstehst du jede Zeile eines Transformers.
Sieh es dir an
Spiele die Animation ab. Ein Block nimmt h (t Positionen mal d) und tut zwei Dinge, die jeweils wieder zu h hinzugefügt werden (der residual Pfad von Modul 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Die Namen des aufgezeichneten Modells: qkv{l} hält Wq, Wk und Wv nebeneinander (d mal 3d), o{l} ist Wo, g1{l}, b1{l} und g2{l}, b2{l} sind die zwei layer norms, w1{l}, w2{l} das feed-forward. Head h nutzt Spalten h mal 16 bis (h + 1) mal 16 von jedem von Q, K und V.
Wörter und Symbole in dieser Lektion
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
- head
- one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
- layer norm
- normalisiere jeden Vektor einzeln: Mittelwert 0, Streuung 1, dann mal g plus b
- transformer block
- h + attention(norm(h)), dann h + feed-forward(norm(h))
Schreibe block(h, l) für eine Sequenz (h ist t mal d). Das vollständige Modell ist für dich zusammengestellt; seine logits müssen model.logits.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.