Programma Les 159 van 246 · Module 14: Trainingskliniek II
Module 14: Trainingskliniek II

Het recept, voor sequentiemodellen

Waarom dit ertoe doet De twee checks van Module 8 (verlies aan het begin, onthoud één batch) gelden nog steeds. Sequentiemodellen voegen nieuwe manieren toe om stilzwijgend te falen, en twee goedkope checks vangen de ergste hiervan op voordat je rekenkracht verbruikt.

Het model van de kliniek is een kleine GPT: breedte 16, 2 blokken, 2 koppen, 16 karakters van context, 200 Adam stappen op de tekst van de cursus. Het traint in een paar seconden, dus je kunt het gerust onderzoeken.

Check 1: de beginverlies

A een vers model met kleine gewichten verspreidt zijn gokken gelijkmatig over de V karakters, dus is zijn loss ln(V). Voor 95 karakters is dat 4.55. Veel daarboven betekent dat iets verkeerd geschaald is; veel daaronder betekent dat het model hulp krijgt die het niet zou moeten hebben.

Check 2: niet spieken

Verander het laatste teken van een input. Als een voorspelling voor een eerdere positie verandert, kan het model de toekomst zien (Module 13), en elk trainingsnummer dat je krijgt is te goed om waar te zijn.

ProbeWat het je verteltGezonde run
loss_curve(c)Trainingsverlies elke 25 stappen, en het verlies op onbekende tekst aan het einde. Kijk altijd eerst.4.55 naar ongeveer 2.9; onzichtbaar ongeveer 3.0
loss_at_init(c)Loss voor de training. Een vers model dat gelijkmatig gokt over 95 karakters geeft ln(95).4.55
leak_check(c)Kan een later teken een eerdere voorspelling veranderen?False
show_batch(c)Eén trainingsinput en de bijbehorende doelwaarde, als tekst.target = input verplaatst één teken naar links
update_ratio(c)Na de eerste Adam stap, hoe ver de weights bewogen ten opzichte van hun grootte. Niet de regel van Module 8: die 0.001 tot 0.1 bereik is voor gewone SGD stappen. De eerste stap van Adam verplaatst elke weight met ongeveer de learning rate ongeacht de gradient, en deze weights beginnen dicht bij 0.02, dus 0.01 / 0.02 geeft ongeveer 0.5. Vergelijk een geval met deze gezonde run, niet met het bereik van Module 8.ongeveer 0.5
block_change(c)Hoeveel de eerste blok elke vector verandert aan het begin.ongeveer 0.3
Woorden en symbolen in deze les
ln(V)
de beginverlies van een model dat gelijkmatig gokt over V symbolen: 4.55 voor 95 karakters
te goed om waar te zijn
training loss veel beter dan een gezonde run, unseen-text loss veel slechter
block change
hoeveel één blok een vector aan het begin verandert; dicht bij 1 betekent dat het het heeft vervangen
Jij bent aan de beurt

Schrijf expected_start(V) en my_leak_check(c), gebruik de eigen _init, _logits en DATA van de kliniek. Ze moeten overeenstemmen met de probes van de kliniek.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.