Kurrikulum Leson 153 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Train 'n klein GPT, regstreeks

Waarom dit saak maak Alles kom bymekaar: embeddings, positions, masked multi-head attention, residuals en layer norms, getoën met Adam op next-character prediction. Op jou eie CPU, in sekondes.

Breedte 32, 2 blokke, 4 koppe, 32 karakters van konteks: ongeveer 29,000 parameters. 150 stappe van 16 snippets elk, 'n paar sekondes op 'n skootrekenaar. Voorspel die kurwe: die verlies aan die begin en na 150 stappe. ('n Uniform raai oor 95 karakters is ln 95 = 4.55.)

Tel daar dan uit. Na 150 stappe maak dit lettersoep met spasies op ongeveer die regte plekke; die opgetekende width-64 model, wat vir 2,000 stappe opgelei is, skryf woordvormige teks. Dieselfde kode, meer rekenkrag.

Woorde en simbole in hierdie les
aandag
softmax van query-key-skore, gebruik om die waardes te gemiddelde
head
one van H nouer aandag wat langs mekaar loop, elk met sy eie patroon
laagnorm
normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
Jou beurt

Vul my_guess in, oefen dan met model.train (150 stappe, leertempo 0.003, bondel 16) op corpus.TEXT en hou die geskiedenis in hist. Die oproep is hist = model.train(text, steps=..., lr=..., batch=...); dit gee 'n woordeboek terug waarvan hist['loss'] die opleidingsverlies is wat elke 20 stappe (en by die laaste stap) aangeteken word, en model.generate(prompt, n, temperature) skryf daarna teks. (help(model.train) druk dit ook.) Die gemiddeld van die laaste 5 aangetekende verliese moet onder 2.85 wees.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.