Poort: drie onzichtbare kapotte runs (AI uit)
Waarom dit ertoe doet Alleen diagnosticeren, met een Budget, is de vaardigheid die deze cursus sinds Module 8 heeft opgebouwd.
AI uit. Drie runs, elk met één fout uit de trainingsgevallen van deze module. Het zijn nieuwe runs, geen oefengevallen: een andere seed en fouten van andere groottes, dus onthouden nummers zullen niet overeenkomen. Je Budget is in totaal 9 probes (het trainen van een verzegeld antwoord telt als één), geteld over elke run sinds de pagina opende (het herhalen van een probe op hetzelfde geval is gratis; een verkeerde diagnose of een fix die niet werkt kost één probe).
Elke casus hieronder is een trainingsronde met één geplante fout. Voor elke casus: gebruik probes om de fout te vinden, schrijf dan een fix als config wijzigingen die de ronde weer gezond maken. De fouten in deze les: any training fault from this module. Een goede diagnosticus heeft zelden meer dan twee probes per casus nodig.
| Probe | Wat het je vertelt | Gezonde run |
|---|---|---|
loss_curve(c) | Trainingsverlies elke 25 stappen, en het verlies op onbekende tekst aan het einde. Kijk altijd eerst. | 4.55 naar ongeveer 2.9; onzichtbaar ongeveer 3.0 |
loss_at_init(c) | Loss voor de training. Een vers model dat gelijkmatig gokt over 95 karakters geeft ln(95). | 4.55 |
leak_check(c) | Kan een later teken een eerdere voorspelling veranderen? | False |
show_batch(c) | Eén trainingsinput en de bijbehorende target, als tekst. | target = input verplaatst één teken naar links |
update_ratio(c) | Na de eerste Adam stap, hoe ver de weights bewogen ten opzichte van hun grootte. Niet de regel van Module 8: die 0.001 tot 0.1 bereik is voor gewone SGD stappen. De eerste stap van Adam verplaatst elke weight met ongeveer de learning rate ongeacht de gradient, en deze weights beginnen dicht bij 0.02, dus 0.01 / 0.02 geeft ongeveer 0.5. Vergelijk een geval met deze gezonde run, niet met het bereik van Module 8. | ongeveer 0.5 |
block_change(c) | Hoeveel de eerste blok elke vector verandert aan het begin. | ongeveer 0.3 |
Woorden en symbolen in deze les
- ln(V)
- de beginverlies van een model dat gelijkmatig gokt over V symbolen: 4.55 voor 95 karakters
- block change
- hoeveel één blok een vector aan het begin verandert; dicht bij 1 betekent dat het het heeft vervangen
Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Na je fix moet elke instelling overeenkomen met de gezonde run.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.