Programma Lezione 38 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

Cancello: la matematica, in codice (IA spenta)

Perché è importante Tre pezzi di questo modulo tornano in ogni modulo successivo: una softmax che sopravvive ai numeri grandi, i gradienti di una moltiplicazione di matrici, e la divergenza KL. Conosci già questa matematica? Puoi affrontare questo cancello per primo, prima delle altre lezioni: superarlo segna questo modulo come fatto e apre il successivo.

Tutor IA spento. Per la softmax, usa il trucco dello spostamento: sottrarre il punteggio più grande da ogni punteggio sulla carta non cambia niente, ma tiene ogni exp al massimo a 1. I logit veri possono essere grandi, e una softmax che restituisce nan sugli input grandi rovina in silenzio un addestramento.

Parole e simboli di questa lezione
derivata (df/dx)
quanto in fretta cambia l'output per ogni unità di spostamento dell'input
softmax
exp di ogni punteggio diviso per il totale: i punteggi diventano probabilità
cross-entropy
meno il log della probabilità data alla risposta giusta
KL(P || Q)
quanto sono diverse due distribuzioni; zero solo quando coincidono; l'ordine conta
Tocca a te

Scrivi, per array 2D di logit (una riga per esempio):

  • logsumexp(z): log della somma degli exp lungo ogni riga, sicuro per valori enormi.
  • stable_softmax(z): softmax lungo ogni riga, sicura per valori enormi.
  • nll(z, labels): la cross-entropy media calcolata direttamente dai logit come logsumexp - z[true], senza mai prendere il log di una softmax.
  • matmul_grads(X, W, G): per Y = X @ W e una loss il cui gradiente rispetto a Y è G, restituisci (dX, dW), i gradienti rispetto a X e W, senza costruire nessun Jacobiano.
  • kl_normal(m1, s1, m2, s2): la divergenza KL dalla curva a campana N(m1, s1) a N(m2, s2), dove s1 e s2 sono dispersioni (deviazioni standard).

I controlli usano ogni volta forme e numeri casuali nuovi, e confrontano con gli spostamenti e con un integrale numerico.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Codice · gira nel tuo browser
Uscita

        

I tuoi progressi vengono contati in forma anonima. Cambia