Cancello: una RNN rotta con due difetti (IA spenta)
Perché è importante Trovare due difetti insieme, senza aiuto, è ciò per cui le cliniche ti hanno allenato.
Tutor IA spento. Questa RNN di caratteri ha due difetti. Uno impedisce alla loss di scendere molto, anche se ogni loss resta un numero finito (non esplode niente). L'altro fa sì che la rete non usi mai davvero ciò che ha letto prima nel frammento. Trovali e correggili entrambi.
Parole e simboli di questa lezione
- rete ricorrente (RNN)
- una rete che legge un passo alla volta e porta avanti uno stato nascosto
- entropia
- quanto è sparsa una distribuzione: 0 quando è certa, ln(n) quando tutte le n scelte sono uguali
Correggi init e run_snippet. Dopo 200 passi, la loss media sugli ultimi 20 passi deve essere sotto 2.45, ogni loss deve essere un numero finito, e il primo carattere di un frammento deve ancora influenzare l'ultima previsione.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.