Ablaties: drie wijzigingen, drie seeds elk
Waarom dit ertoe doet "Deze wijziging hielp" is de meest voorkomende bewering in elke projectrapportage, en de bewering die het vaakst wordt gemaakt vanuit een enkele run. De regel van Module 22 beslist dit hier, op jouw runs.
Kies drie wijzigingen voor je basislijn, waarbij elke wijziging precies één instelling verandert (width, lr, steps, batch of weight_decay). Voer elk uit met seeds 0, 1 en 2, en de basislijn opnieuw met dezelfde seeds (in de log van deze les, dus elk getal op één plek). Gebruik evals=1: alleen de uiteindelijke score is nodig.
Voor elke wijziging: diff = gemiddelde score van de wijziging minus gemiddelde score van de basislijn (hoger is beter), en se = judge.standard_error(baseline, change). Verdict: "better" als diff > 2 se, "worse" als diff < -2 se, anders "not shown".
Het totaal moet in je Budget passen: een wijziging die meer kost (breder, meer stappen) gebruikt er meer van.
Woorden en symbolen in deze les
- baseline
- de simpele run waar elke verandering tegen wordt gemeten, over dezelfde seeds
- ablation
- one verander naar de basislijn, voer uit over verschillende seeds, om te zien wat het doet
Stel CHANGES (drie, elk een instelling) in. Vul log met de 12 runs en verdict[name] voor elke verandering. Print de gemiddelden en 2 se.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.