Een transformer-blok, met die hand
Waarom dit saak maak 'n GPT is dieselfde blok gestapel. Skryf een met plain NumPy, hardloop dit met die model se werklike weights, en as jou syfers met die model se eie syfers ooreenstem, verstaan jy elke reël van 'n transformer.
Sien dit
Speel die animasi af. 'n Blok neem h (t posisies by d) en doen twee dinge, elk word teruggevoeg by h (die residual pad van Module 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Die opgeneemde model se name: qkv{l} hou Wq, Wk en Wv langs mekaar (d by 3d), o{l} is Wo, g1{l}, b1{l} en g2{l}, b2{l} is die twee layer norms, w1{l}, w2{l} die feed-forward. Kop h gebruik kolomme h maal 16 tot (h + 1) maal 16 van elk van Q, K en V.
Woorde en simbole in hierdie les
- aandag
- softmax van query-key skores, gebruik om die waardes te gemiddelde
- head
- one van H nouer aandages loop langs mekaar, elkeen met sy eie patroon
- laagnorm
- normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
- transformer blok
- h + attention(norm(h)), dan h + feed-forward(norm(h))
Skryf block(h, l) vir een reeks (h is t by d). Die volledige model is vir jou saamgestel; sy logits moet by model.logits.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.