Programma Les 105 van 246 · Module 9: Is het echt beter?
Module 9: Is het echt beter?

Zaden en verspreiding

Waarom dit ertoe doet Train hetzelfde model twee keer met verschillende seeds en je krijgt verschillende scores. Totdat je weet hoe groot die schommeling is, kun je niet zeggen of een verandering heeft geholpen.

Hier bepaalt de seed drie dingen: welke afbeeldingen in de trainings- en testsets terechtkomen, de begingewichten en de volgorde van de data. Niets hiervan zou moeten uitmaken, maar ze doen het allemaal een beetje. Train dus altijd meerdere seeds en rapporteer het gemiddelde en de spreiding (standaarddeviatie), nooit een enkele run.

Een ruwe regel voor het vergelijken van twee instellingen, elk gemiddeld over n seeds: het verschil van de twee gemiddelden wankelt met ongeveer de spread keer sqrt(2 / n) (elk gemiddelde wankelt met spread / sqrt(n), en twee onafhankelijke wankelingen tellen op in kwadraten). Een verschil kleiner dan ongeveer twee keer dat is niet iets waar je op kunt vertrouwen. Met 5 seeds en een spread van 0.02, is dat 2 keer 0.02 keer sqrt(0.4) = 0.025.

Jij bent aan de beurt

Schrijf seed_report(n_seeds) die (mean, std) van train_and_score teruggeeft over seeds 0 tot n_seeds - 1. Gebruik np.std zoals het is (het deelt door n; delen door n - 1, ddof=1, wordt ook geaccepteerd). Stel daarna wobble in op de spreiding over 5 seeds.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.