Clinic: te goed, of te vastgelopen
Waarom dit ertoe doet De gevaarlijkste runs zijn de runs die er geweldig uitzien. Een model dat zijn antwoorden kan zien, meldt een prachtig trainingsverlies en is nutteloos.
Geen masker: het model kan naar het volgende teken gluren, dus het trainingsverlies zakt verder dan bij een gezonde run, terwijl het verlies op ongeziene tekst (eerlijk gemeten, alleen vanaf eerdere tekens) veel slechter is. Doelen niet verschoven: het doel is de invoer zelf, dus het model leert het teken te kopiëren waar het naar kijkt. Het trainingsverlies gaat naar bijna 0, en op ongeziene tekst is het verschrikkelijk. Geen residu: elk blok vervangt h in plaats van erbij op te tellen, dus de stapel is moeilijk te trainen en het verlies loopt al vroeg vast.
Elk geval hieronder is een trainingsrun waarin één fout is geplant. Gebruik per geval sondes om de fout te vinden en schrijf dan een oplossing als configuratiewijzigingen die de run weer gezond maken. De fouten in deze les: no_mask, targets_not_shifted, no_residual. Een goede diagnosticus heeft zelden meer dan twee sondes per geval nodig.
| Sonde | Wat hij je vertelt | Gezonde run |
|---|---|---|
loss_curve(c) | Het trainingsverlies elke 25 stappen, en het verlies op ongeziene tekst aan het eind. Kijk altijd eerst hiernaar. | 4.55 omlaag naar ongeveer 2.9; ongezien ongeveer 3.0 |
loss_at_init(c) | Het verlies vóór de training. Een nieuw model dat gelijkmatig gokt over 95 tekens geeft ln(95). | 4.55 |
leak_check(c) | Kan een later teken een eerdere voorspelling veranderen? | False |
show_batch(c) | Eén trainingsinvoer en het doel ervan, als tekst. | doel = invoer één teken naar links verschoven |
update_ratio(c) | Hoe ver de gewichten na de eerste Adam-stap bewogen ten opzichte van hun grootte. Niet de regel uit Module 8: dat bereik van 0.001 tot 0.1 geldt voor gewone SGD-stappen. De eerste stap van Adam verplaatst elk gewicht met ongeveer het leertempo, wat de gradiënt ook is, en deze gewichten beginnen rond 0.02, dus 0.01 / 0.02 geeft ongeveer 0.5. Vergelijk een geval met deze gezonde run, niet met het bereik van Module 8. | ongeveer 0.5 |
block_change(c) | Hoeveel het eerste blok elke vector aan het begin verandert. | ongeveer 0.3 |
Woorden en symbolen in deze les
- ln(V)
- het beginverlies van een model dat gelijkmatig gokt over V symbolen: 4.55 voor 95 tekens
- blokverandering
- hoeveel één blok een vector aan het begin verandert; dicht bij 1 betekent dat het hem vervangen heeft
Vul diagnosis (case naar foutnaam) en fixes (case naar een dictionary van config wijzigingen) in voor gevallen A, B en C. Na je fix moet elke instelling overeenkomen met de gezonde run.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.