Una RNN di caratteri
Perché è importante Prevedere il carattere successivo da quelli prima è il modello linguistico originale. La stessa idea, in grande, è un chatbot.
Dai in pasto il testo delle lezioni del corso stesso un carattere alla volta. A ogni passo la RNN aggiorna il suo stato e prevede il carattere successivo con un layer lineare e una softmax. La loss è la cross-entropy media sulle 16 posizioni di ogni frammento di addestramento.
Ogni carattere entra come embedding: una riga di numeri appresa, cercata con l'indice del carattere (il Modulo 12 li spiega per bene; per ora, una tabella di consultazione che la rete addestra).
Indovina la curva con il grafico: indovina la loss al passo 0 e dopo 200 passi. Un'ipotesi uniforme su tutti i caratteri del testo dà circa ln(V).
Parole e simboli di questa lezione
- rete ricorrente (RNN)
- una rete che legge un passo alla volta e porta avanti uno stato nascosto
- entropia
- quanto è sparsa una distribuzione: 0 quando è certa, ln(n) quando tutte le n scelte sono uguali
Compila my_guess. Poi scrivi step_state(x_ids, h, P) con il motore di casa: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Il ciclo di addestramento attorno è già scritto per te. Dopo 200 passi la loss media sugli ultimi 20 passi deve essere sotto 2.6.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.