Kurrikulum Leson 151 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Een transformer-blok, met die hand

Waarom dit saak maak 'n GPT is dieselfde blok gestapel. Skryf een met plain NumPy, hardloop dit met die model se werklike weights, en as jou syfers met die model se eie syfers ooreenstem, verstaan jy elke reël van 'n transformer.

Sien dit

Speel die animasi af. 'n Blok neem h (t posisies by d) en doen twee dinge, elk word teruggevoeg by h (die residual pad van Module 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Die opgeneemde model se name: qkv{l} hou Wq, Wk en Wv langs mekaar (d by 3d), o{l} is Wo, g1{l}, b1{l} en g2{l}, b2{l} is die twee layer norms, w1{l}, w2{l} die feed-forward. Kop h gebruik kolomme h maal 16 tot (h + 1) maal 16 van elk van Q, K en V.

Woorde en simbole in hierdie les
aandag
softmax van query-key skores, gebruik om die waardes te gemiddelde
head
one van H nouer aandages loop langs mekaar, elkeen met sy eie patroon
laagnorm
normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
transformer blok
h + attention(norm(h)), dan h + feed-forward(norm(h))
Jou beurt

Skryf block(h, l) vir een reeks (h is t by d). Die volledige model is vir jou saamgestel; sy logits moet by model.logits.

pas.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.