Programma Lezione 230 di 246 · Modulo 22: Giudicare le affermazioni
Modulo 22: Giudicare le affermazioni

Una media migliore, la stessa abilità

Perché è importante "Il nostro modello ha una loss più bassa" è l'affermazione più comune nella modellazione del linguaggio. La loss è una media su ogni previsione, e una media può migliorare senza che migliori per niente la parte che ti interessa.

Il corso ha registrato due GPT addestrati allo stesso modo, larghi 32 e 64. Quello più largo ha la loss più bassa sui dati tenuti da parte. Ma le previsioni non sono tutte uguali: finire una parola che hai iniziato ("gradi" poi "e") è facile; scegliere la prima lettera della parola successiva significa scegliere che cosa dire dopo, ed è difficile.

judge.per_position(model, X, Y) dà la loss di ogni previsione. Fanne la media su tutte le posizioni, sulle prime lettere delle parole, e sul resto di ogni parola.

Prima prevedi: il modello più largo diventa migliore nello scegliere la parola successiva?

Parole e simboli di questa lezione
seed
il numero che fissa le scelte casuali di un'esecuzione; un altro seed dà un altro risultato
Tocca a te

Imposta my_guess su "yes" o "no". Riempi loss[width] con un dict di 'all', 'first letter' e 'inside word' per le larghezze 32 e 64. Imposta gain_from sul tipo di posizione ("first letter" o "inside word") da cui viene il guadagno del modello più largo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.