Train 'n klein GPT, regstreeks
Waarom dit saak maak Alles kom bymekaar: embeddings, positions, masked multi-head attention, residuals en layer norms, getoën met Adam op next-character prediction. Op jou eie CPU, in sekondes.
Breedte 32, 2 blokke, 4 koppe, 32 karakters van konteks: ongeveer 29,000 parameters. 150 stappe van 16 snippets elk, 'n paar sekondes op 'n skootrekenaar. Voorspel die kurwe: die verlies aan die begin en na 150 stappe. ('n Uniform raai oor 95 karakters is ln 95 = 4.55.)
Tel daar dan uit. Na 150 stappe maak dit lettersoep met spasies op ongeveer die regte plekke; die opgetekende width-64 model, wat vir 2,000 stappe opgelei is, skryf woordvormige teks. Dieselfde kode, meer rekenkrag.
Woorde en simbole in hierdie les
- aandag
- softmax van query-key-skore, gebruik om die waardes te gemiddelde
- head
- one van H nouer aandag wat langs mekaar loop, elk met sy eie patroon
- laagnorm
- normalise elke vektor op sy eie: gemiddelde 0, spreiding 1, dan maal g plus b
Vul my_guess in, oefen dan met model.train (150 stappe, leertempo 0.003, bondel 16) op corpus.TEXT en hou die geskiedenis in hist. Die oproep is hist = model.train(text, steps=..., lr=..., batch=...); dit gee 'n woordeboek terug waarvan hist['loss'] die opleidingsverlies is wat elke 20 stappe (en by die laaste stap) aangeteken word, en model.generate(prompt, n, temperature) skryf daarna teks. (help(model.train) druk dit ook.) Die gemiddeld van die laaste 5 aangetekende verliese moet onder 2.85 wees.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.