Ablationen: drei Änderungen, jeweils drei Seeds
Warum das wichtig ist "Diese Änderung hat geholfen" ist die häufigste Behauptung in jedem Projektbericht und diejenige, die am öftesten aus einem einzelnen Durchlauf gemacht wird. Die Regel von Modul 22 entscheidet hier über deine Durchläufe.
Wähle drei Änderungen an deinem Referenzwert aus, wobei jede Einstellung genau eine Option ändert (width, lr, steps, batch oder weight_decay). Führe jede mit den Seeds 0, 1 und 2 aus und den Referenzwert erneut mit denselben Seeds (im Log dieser Lektion, also ist jede Zahl an einem Platz). Nutze evals=1: nur der finale Score wird benötigt.
Für jede Änderung: diff = mittlerer Score der Änderung minus mittlerer Score der baseline (höher ist besser), und se = judge.standard_error(baseline, change). Urteil: "better" wenn diff > 2 se, "worse" wenn diff < -2 se, ansonsten "not shown".
Der Gesamtbetrag muss in dein Budget passen: eine Änderung, die mehr kostet (breiter, mehr steps), verbraucht mehr davon.
Wörter und Symbole in dieser Lektion
- baseline
- der einfache Durchlauf, gegen den jede Änderung gemessen wird, über dieselben Seeds
- ablation
- one ändere zum Referenzwert, lass es über mehrere seeds laufen, um zu sehen, was es macht
Set CHANGES (drei, jede eigene Einstellung). Fülle log mit den 12 Durchläufen und verdict[name] für jede Änderung. Drucke die Mittelwerte und 2 se.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.