Programma Les 164 van 246 · Module 14: Trainingskliniek II
Module 14: Trainingskliniek II

Vertrouw je de helper? Sequence editie

Waarom dit ertoe doet Dezelfde vaardigheid als Module 8, moeilijkere fouten: verschillende hiervan zien er hetzelfde uit alleen op basis van de loss curve, dus een helper die alleen curves leest krijgt ze fout met volledige zekerheid.

Een AI helper heeft een foutnaam gegeven voor elk van de acht mislukte runs. Sommige claims zijn fout. Let op paren die een symptoom delen: twee fouten kunnen allebei de training loss verdacht laag maken, en twee kunnen allebei ervoor zorgen dat het stagneert.

ProbeWat het je verteltGezonde run
loss_curve(c)Trainingsverlies elke 25 stappen, en het verlies op onbekende tekst aan het einde. Kijk altijd eerst.4.55 naar ongeveer 2.9; onzichtbaar ongeveer 3.0
loss_at_init(c)Loss voor de training. Een vers model dat gelijkmatig gokt over 95 karakters geeft ln(95).4.55
leak_check(c)Kan een later teken een eerdere voorspelling veranderen?False
show_batch(c)Eén trainingsinput en de bijbehorende target, als tekst.target = input verplaatst één teken naar links
update_ratio(c)Na de eerste Adam stap, hoe ver de weights bewogen ten opzichte van hun grootte. Niet de regel van Module 8: die 0.001 tot 0.1 bereik is voor gewone SGD stappen. De eerste stap van Adam verplaatst elke weight met ongeveer de learning rate ongeacht de gradient, en deze weights beginnen dicht bij 0.02, dus 0.01 / 0.02 geeft ongeveer 0.5. Vergelijk een geval met deze gezonde run, niet met het bereik van Module 8.ongeveer 0.5
block_change(c)Hoeveel de eerste blok elk vector aan het begin verandert.ongeveer 0.3
Woorden en symbolen in deze les
ln(V)
de beginverlies van een model dat gelijkmatig gokt over V symbolen: 4.55 voor 95 karakters
block change
hoeveel één blok een vector aan het begin verandert; dicht bij 1 betekent dat het het heeft vervangen
Jij bent aan de beurt

Voor elke casus A tot H, stel verdicts[case] in op True (de helper heeft gelijk) of False. Je moet er minstens 7 van de 8 goed hebben.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.