Programma Lezione 162 di 246 · Modulo 14: Clinica degli addestramenti II
Modulo 14: Clinica degli addestramenti II

Clinica: un buon modello che scrive male

Perché è importante Un modello addestrato può comunque produrre spazzatura se il codice attorno è sbagliato. Questi difetti vivono nel codice di campionamento, non nei pesi, e le persone riaddestrano per giorni prima di guardare lì.

Ogni caso qui sotto usa lo stesso modello registrato di larghezza 64, che scrive testo ragionevole a temperatura 0.8. Ogni caso ha un difetto nel modo in cui il testo viene campionato o decodificato:

  • too_cold: temperatura vicina a 0. Il modello prende sempre il suo carattere successivo preferito e cade in un ciclo.
  • too_hot: temperatura molto sopra 1. La distribuzione viene appiattita finché i simboli rari escono spesso quanto le lettere.
  • shifted_decode: gli id vengono ritrasformati in caratteri con l'alfabeto sbagliato di uno, quindi un campione buono si legge come un codice: ogni spazio diventa "!".

Sonde: sample(c) mostra il testo; repeat_share(text) e space_share(text) lo misurano.

Tocca a te

Compila diagnosis e fixes per i casi A, B e C. Dopo la tua correzione, ogni impostazione deve coincidere con quella sana, e il campione deve di nuovo leggersi come testo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.