Programma Lezione 232 di 246 · Modulo 22: Giudicare le affermazioni
Modulo 22: Giudicare le affermazioni

Un solo seed è un aneddoto

Perché è importante Addestrare lo stesso modello due volte con seed casuali diversi dà risultati diversi. Una differenza tra due modelli più piccola di quella dispersione non è un risultato, e una singola esecuzione non può dirti quanto è grande la dispersione.

Un'affermazione: "a 8,000 token, la larghezza 1024 batte la larghezza 512", sostenuta da un'esecuzione ciascuna (seed 0: 2.793 contro 2.799). Il corso ha registrato 3 seed di ognuna.

Una regola semplice per "A batte B" con pochi seed ciascuno: prendi la differenza delle medie, e il suo errore standard (quanto si sposterebbe quella differenza se rieseguissi i seed), sqrt(var(A) / nA + var(B) / nB) con la varianza campionaria (ddof=1). Considerala dimostrata quando la differenza è più di 2 errori standard. judge.standard_error(a, b) la calcola.

Prima prevedi: con tre seed, la larghezza 1024 batte ancora la 512 a 8,000 token?

Parole e simboli di questa lezione
seed
il numero che fissa le scelte casuali di un'esecuzione; un altro seed dà un altro risultato
errore standard
quanto si sposterebbe una differenza misurata se si rieseguissero i seed
Tocca a te

Imposta my_guess su "yes" o "no". Per 8,000 e 1,500,000 token, riempi diff[tokens] (loss media della larghezza 512 meno loss media della larghezza 1024: positivo significa che 1024 è migliore) e two_se[tokens]. Imposta verdict[tokens] su "shown" o "not shown".

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.