Cancello: la matematica, in codice (IA spenta)
Perché è importante Tre pezzi di questo modulo tornano in ogni modulo successivo: una softmax che sopravvive ai numeri grandi, i gradienti di una moltiplicazione di matrici, e la divergenza KL. Conosci già questa matematica? Puoi affrontare questo cancello per primo, prima delle altre lezioni: superarlo segna questo modulo come fatto e apre il successivo.
Tutor IA spento. Per la softmax, usa il trucco dello spostamento: sottrarre il punteggio più grande da ogni punteggio sulla carta non cambia niente, ma tiene ogni exp al massimo a 1. I logit veri possono essere grandi, e una softmax che restituisce nan sugli input grandi rovina in silenzio un addestramento.
Parole e simboli di questa lezione
- derivata (df/dx)
- quanto in fretta cambia l'output per ogni unità di spostamento dell'input
- softmax
- exp di ogni punteggio diviso per il totale: i punteggi diventano probabilità
- cross-entropy
- meno il log della probabilità data alla risposta giusta
- KL(P || Q)
- quanto sono diverse due distribuzioni; zero solo quando coincidono; l'ordine conta
Scrivi, per array 2D di logit (una riga per esempio):
logsumexp(z): log della somma degli exp lungo ogni riga, sicuro per valori enormi.stable_softmax(z): softmax lungo ogni riga, sicura per valori enormi.nll(z, labels): la cross-entropy media calcolata direttamente dai logit comelogsumexp - z[true], senza mai prendere il log di una softmax.matmul_grads(X, W, G): per Y = X @ W e una loss il cui gradiente rispetto a Y è G, restituisci(dX, dW), i gradienti rispetto a X e W, senza costruire nessun Jacobiano.kl_normal(m1, s1, m2, s2): la divergenza KL dalla curva a campana N(m1, s1) a N(m2, s2), dove s1 e s2 sono dispersioni (deviazioni standard).
I controlli usano ogni volta forme e numeri casuali nuovi, e confrontano con gli spostamenti e con un integrale numerico.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
I tuoi progressi vengono contati in forma anonima. Cambia
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.