Kurrikulum Leson 159 van 246 · Module 14: Lopie-kliniek II
Module 14: Lopie-kliniek II

Die resep vir volgorde-modelle

Waarom dit saak maak Module 8 se twee kontroles (verlies aan die begin, onthou een batch) geld steeds. Sequence modelle voeg nuwe maniere by om stil te faal, en twee goedkoop kontroles vang die ergste daarvan voor jy enige rekenkrag gebruik.

Die kliniek se model is 'n klein GPT: breedte 16, 2 blokke, 2 koppe, 16 karakters van konteks, 200 Adam-stappe op die kursustekst. Dit skool in 'n paar sekondes, so jy kan dit gerus ondersoek.

Kontrole 1: die beginverlies

A nuwe model met klein gewigte versprei sy raaisels gelyk oor die V karakters, so sy verlies is ln(V). Vir 95 karakters is dit 4.55. Ver bo beteken dit iets word verkeerd geskaal; ver onder beteken die model kry hulp wat dit nie moet hê nie.

Kontrole 2: nie spypel nie

Verander die laaste karakter van 'n input. As enige voorspelling vir 'n vroeëre posisie verander, kan die model die toekoms sien (Module 13), en elke opleidingsnommer wat jy kry is te goed om waar te wees.

ProbeWat dit vir jou vertelGesonde hardloop
loss_curve(c)Treiningsverlies elke 25 stappe, en die verlies op ongesiene teks aan die einde. Kyk altyd eerste.4.55 af tot ongeveer 2.9; onsigbaar by ongeveer 3.0
loss_at_init(c)Verlies voor opleiding. 'n Vars model wat gelyk oor 95 karakters raai, gee ln(95).4.55
leak_check(c)Kan 'n latere karakter 'n vroeëre voorspelling verander?Vals
show_batch(c)Een opleidingsinput en sy teiken, as teks.target = input skuif een karakter links
update_ratio(c)Na die eerste Adam-stap, hoe ver het gewigte beweeg relatief tot hul grootte. Nie Module 8 se reël nie: daardie 0.001 tot 0.1 reeks is vir gewone SGD-stappe. Adam se eerste stap skuif elke gewig met ongeveer die learning rate ongeag sy gradient, en hierdie gewigte begin naby 0.02, so 0.01 / 0.02 gee ongeveer 0.5. Vergelyk 'n geval met hierdie gesonde loop, nie met Module 8 se reeks nie.ongeveer 0.5
block_change(c)Hoeveel die eerste blok elke vektor aan die begin verander.ongeveer 0.3
Woorde en simbole in hierdie les
ln(V)
die beginverlies van 'n model wat gelykverdelig oor V simbole raai: 4.55 vir 95 karakters
te goed om waar te wees
verlies van opleiding is veel beter as 'n gesonde loop, verlies van ongesiene teks is veel erger
blok verander
hoeveel een blok 'n vektor aan die begin verander; naby 1 beteken dit het dit vervang
Jou beurt

Skryf expected_start(V) en my_leak_check(c), deur die kliniek se eie _init, _logits en DATA te gebruik. Hulle moet ooreenstem met die kliniek se probes.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.