Programma Lezione 238 di 246 · Modulo 23: Studio del progetto finale: una model card che puoi eseguire
Modulo 23: Studio del progetto finale: una model card che puoi eseguire

Ablazioni: tre cambiamenti, tre seed ciascuno

Perché è importante "Questo cambiamento ha aiutato" è l'affermazione più comune in qualsiasi resoconto di progetto, e quella fatta più spesso da una singola esecuzione. Qui decide la regola del Modulo 22, sulle tue esecuzioni.

Scegli tre cambiamenti alla tua baseline, ognuno che cambia esattamente un'impostazione (width, lr, steps, batch o weight_decay). Esegui ognuno con i seed 0, 1 e 2, e di nuovo la baseline con gli stessi seed (nel registro di questa lezione, così ogni numero sta in un solo posto). Usa evals=1: serve solo il punteggio finale.

Per ogni cambiamento: diff = punteggio medio del cambiamento meno punteggio medio della baseline (più alto è meglio), e se = judge.standard_error(baseline, change). Verdetto: "better" se diff > 2 se, "worse" se diff < -2 se, altrimenti "not shown".

Il totale deve stare nel tuo budget: un cambiamento che costa di più (più largo, più passi) ne usa di più.

Parole e simboli di questa lezione
baseline
l'esecuzione semplice rispetto a cui si misura ogni cambiamento, sugli stessi seed
ablazione
un solo cambiamento rispetto alla baseline, eseguito su diversi seed, per vedere che cosa fa
Tocca a te

Imposta CHANGES (tre, ognuno un'impostazione). Riempi log con le 12 esecuzioni e verdict[name] per ogni cambiamento. Stampa le medie e 2 se.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.