Una media migliore, la stessa abilità
Perché è importante "Il nostro modello ha una loss più bassa" è l'affermazione più comune nella modellazione del linguaggio. La loss è una media su ogni previsione, e una media può migliorare senza che migliori per niente la parte che ti interessa.
Il corso ha registrato due GPT addestrati allo stesso modo, larghi 32 e 64. Quello più largo ha la loss più bassa sui dati tenuti da parte. Ma le previsioni non sono tutte uguali: finire una parola che hai iniziato ("gradi" poi "e") è facile; scegliere la prima lettera della parola successiva significa scegliere che cosa dire dopo, ed è difficile.
judge.per_position(model, X, Y) dà la loss di ogni previsione. Fanne la media su tutte le posizioni, sulle prime lettere delle parole, e sul resto di ogni parola.
Prima prevedi: il modello più largo diventa migliore nello scegliere la parola successiva?
Parole e simboli di questa lezione
- seed
- il numero che fissa le scelte casuali di un'esecuzione; un altro seed dà un altro risultato
Imposta my_guess su "yes" o "no". Riempi loss[width] con un dict di 'all', 'first letter' e 'inside word' per le larghezze 32 e 64. Imposta gain_from sul tipo di posizione ("first letter" o "inside word") da cui viene il guadagno del modello più largo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.