Programma Les 38 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Poort: de wiskunde, in code (AI uit)

Waarom dit ertoe doet Drie onderdelen van deze module komen in elke volgende module terug: een softmax die grote getallen overleeft, de gradiënten van een matrixvermenigvuldiging en de KL divergentie. Ken je deze wiskunde al? Je kunt deze poort eerst doen, voor de andere lessen: het voltooien ervan markeert deze module als af en opent de volgende.

AI uit. Gebruik voor de softmax de shift truc: het aftrekken van de hoogste score van elke score verandert op papier niets, maar houdt elke exp maximaal op 1. Reële logits kunnen groot zijn, en een softmax die nan teruggeeft bij grote inputs verpest stilletjes een trainingsrun.

Woorden en symbolen in deze les
afgeleide (df/dx)
hoe snel de output verandert per eenheid duwtje van de input
softmax
exp van elke score gedeeld door het totaal: scores worden waarschijnlijkheden
cross-entropy
min de log van de kans op het juiste antwoord
KL(P || Q)
hoe verschillend twee verdelingen zijn; alleen nul wanneer ze overeenkomen; volgorde is belangrijk
Jij bent aan de beurt

Schrijf, voor 2D arrays van logits (één rij per voorbeeld):

  • logsumexp(z): log van de som van exp langs elke rij, veilig voor enorme waarden.
  • stable_softmax(z): softmax over elke rij, veilig voor enorme waarden.
  • nll(z, labels): de gemiddelde cross-entropy berekend direct vanuit logits als logsumexp - z[true], waarbij nooit de log van een softmax wordt genomen.
  • matmul_grads(X, W, G): voor Y = X @ W en een loss waarvan de gradiënt ten opzichte van Y is G, geef (dX, dW) terug, de gradiënten ten opzichte van X en W, zonder een Jacobian te bouwen.
  • kl_normal(m1, s1, m2, s2): de KL divergentie van de klokcurve N(m1, s1) naar N(m2, s2), waarbij s1 en s2 spreads (standaarddeviaties) zijn.

De controles gebruiken elke keer nieuwe willekeurige vormen en getallen, en vergelijken met nudging en met een numeriek integraal.

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Code · draait in je browser
Uitvoer

        

Je voortgang wordt anoniem geteld. Verander dit