Programma Lezione 163 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

Diagnosticare solo dalla registrazione

Perché è importante Spesso non puoi rieseguire niente: l'addestramento era di qualcun altro, o è costato una settimana. Hai solo ciò che è stato registrato. Due esperimenti registrati di questo corso contengono fallimenti veri.

In gpt-width-lr, un'impostazione è rotta dal suo learning rate se la sua loss finale su dati tenuti da parte, mediata sui tre semi registrati, è peggiore di più di 0.5 rispetto alla migliore impostazione della stessa larghezza. In cnn-depth-shortcuts, una singola esecuzione è bloccata se la sua accuratezza di test è esattamente la stessa a ogni epoca: risponde una sola classe per tutto (ci sono quattro classi di forme, quindi circa 0.25).

Prevedi prima di guardare: quali esecuzioni GPT sono rotte, e quale CNN è bloccata?

Tocca a te

Riempi broken con coppie (width, lr) e stuck con terne (depth, shortcuts, seed), calcolate dalle registrazioni. exp.seeds(d=..., lr=...) dà le tre esecuzioni di un'impostazione.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.