Lehrplan Lektion 238 von 246 · Modul 23: Capstone Studio: eine Model Card, die du ausführen kannst
Modul 23: Capstone Studio: eine Model Card, die du ausführen kannst

Ablationen: drei Änderungen, jeweils drei Seeds

Warum das wichtig ist "Diese Änderung hat geholfen" ist die häufigste Behauptung in jedem Projektbericht und diejenige, die am öftesten aus einem einzelnen Durchlauf gemacht wird. Die Regel von Modul 22 entscheidet hier über deine Durchläufe.

Wähle drei Änderungen an deinem Referenzwert aus, wobei jede Einstellung genau eine Option ändert (width, lr, steps, batch oder weight_decay). Führe jede mit den Seeds 0, 1 und 2 aus und den Referenzwert erneut mit denselben Seeds (im Log dieser Lektion, also ist jede Zahl an einem Platz). Nutze evals=1: nur der finale Score wird benötigt.

Für jede Änderung: diff = mittlerer Score der Änderung minus mittlerer Score der baseline (höher ist besser), und se = judge.standard_error(baseline, change). Urteil: "better" wenn diff > 2 se, "worse" wenn diff < -2 se, ansonsten "not shown".

Der Gesamtbetrag muss in dein Budget passen: eine Änderung, die mehr kostet (breiter, mehr steps), verbraucht mehr davon.

Wörter und Symbole in dieser Lektion
baseline
der einfache Durchlauf, gegen den jede Änderung gemessen wird, über dieselben Seeds
ablation
one ändere zum Referenzwert, lass es über mehrere seeds laufen, um zu sehen, was es macht
Du bist dran

Set CHANGES (drei, jede eigene Einstellung). Fülle log mit den 12 Durchläufen und verdict[name] für jede Änderung. Drucke die Mittelwerte und 2 se.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.