Ablazioni: tre cambiamenti, tre seed ciascuno
Perché è importante "Questo cambiamento ha aiutato" è l'affermazione più comune in qualsiasi resoconto di progetto, e quella fatta più spesso da una singola esecuzione. Qui decide la regola del Modulo 22, sulle tue esecuzioni.
Scegli tre cambiamenti alla tua baseline, ognuno che cambia esattamente un'impostazione (width, lr, steps, batch o weight_decay). Esegui ognuno con i seed 0, 1 e 2, e di nuovo la baseline con gli stessi seed (nel registro di questa lezione, così ogni numero sta in un solo posto). Usa evals=1: serve solo il punteggio finale.
Per ogni cambiamento: diff = punteggio medio del cambiamento meno punteggio medio della baseline (più alto è meglio), e se = judge.standard_error(baseline, change). Verdetto: "better" se diff > 2 se, "worse" se diff < -2 se, altrimenti "not shown".
Il totale deve stare nel tuo budget: un cambiamento che costa di più (più largo, più passi) ne usa di più.
Parole e simboli di questa lezione
- baseline
- l'esecuzione semplice rispetto a cui si misura ogni cambiamento, sugli stessi seed
- ablazione
- un solo cambiamento rispetto alla baseline, eseguito su diversi seed, per vedere che cosa fa
Imposta CHANGES (tre, ognuno un'impostazione). Riempi log con le 12 esecuzioni e verdict[name] per ogni cambiamento. Stampa le medie e 2 se.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.