Clinica: un buon modello che scrive male
Perché è importante Un modello addestrato può comunque produrre spazzatura se il codice attorno è sbagliato. Questi difetti vivono nel codice di campionamento, non nei pesi, e le persone riaddestrano per giorni prima di guardare lì.
Ogni caso qui sotto usa lo stesso modello registrato di larghezza 64, che scrive testo ragionevole a temperatura 0.8. Ogni caso ha un difetto nel modo in cui il testo viene campionato o decodificato:
- too_cold: temperatura vicina a 0. Il modello prende sempre il suo carattere successivo preferito e cade in un ciclo.
- too_hot: temperatura molto sopra 1. La distribuzione viene appiattita finché i simboli rari escono spesso quanto le lettere.
- shifted_decode: gli id vengono ritrasformati in caratteri con l'alfabeto sbagliato di uno, quindi un campione buono si legge come un codice: ogni spazio diventa "!".
Sonde: sample(c) mostra il testo; repeat_share(text) e space_share(text) lo misurano.
Compila diagnosis e fixes per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con quella sana, e il campione deve di nuovo leggersi come testo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.