Programma Les 163 van 246 · Module 14: Trainingskliniek II
Module 14: Trainingskliniek II

Diagnose op basis van alleen het dossier

Waarom dit ertoe doet Vaak kun je niets opnieuw uitvoeren: de run was van iemand anders, of het kostte een week. Alles wat je hebt is wat er is gelogd. Twee opgenomen experimenten uit deze cursus bevatten echte fouten.

In gpt-width-lr, een instelling is broken door zijn learning rate als zijn uiteindelijke held-out loss, gemiddeld over de drie opgenomen seeds, meer dan 0.5 slechter is dan de beste instelling van dezelfde breedte. In cnn-depth-shortcuts, een enkele run is stuck als zijn test accuracy precies hetzelfde is bij elke epoch: het geeft één klasse voor alles aan (er zijn vier vormklassen, dus ongeveer 0.25).

Voorspel voordat je kijkt: welke GPT runs zijn kapot, en welke CNN zit vast?

Jij bent aan de beurt

Vul broken met (width, lr) paren en stuck met (depth, shortcuts, seed) drietallen, berekend uit de records. exp.seeds(d=..., lr=...) geeft de drie runs van één instelling.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.