Programma Lezione 133 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

Cancello: una RNN rotta con due difetti (IA spenta)

Perché è importante Trovare due difetti insieme, senza aiuto, è ciò per cui le cliniche ti hanno allenato.

Tutor IA spento. Questa RNN di caratteri ha due difetti. Uno impedisce alla loss di scendere molto, anche se ogni loss resta un numero finito (non esplode niente). L'altro fa sì che la rete non usi mai davvero ciò che ha letto prima nel frammento. Trovali e correggili entrambi.

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
entropia
quanto è sparsa una distribuzione: 0 quando è certa, ln(n) quando tutte le n scelte sono uguali
Tocca a te

Correggi init e run_snippet. Dopo 200 passi, la loss media sugli ultimi 20 passi deve essere sotto 2.45, ogni loss deve essere un numero finito, e il primo carattere di un frammento deve ancora influenzare l'ultima previsione.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.