Poort: de wiskunde, in code (AI uit)
Waarom dit ertoe doet Drie onderdelen van deze module komen in elke volgende module terug: een softmax die grote getallen overleeft, de gradiënten van een matrixvermenigvuldiging en de KL divergentie. Ken je deze wiskunde al? Je kunt deze poort eerst doen, voor de andere lessen: het voltooien ervan markeert deze module als af en opent de volgende.
AI uit. Gebruik voor de softmax de shift truc: het aftrekken van de hoogste score van elke score verandert op papier niets, maar houdt elke exp maximaal op 1. Reële logits kunnen groot zijn, en een softmax die nan teruggeeft bij grote inputs verpest stilletjes een trainingsrun.
Woorden en symbolen in deze les
- afgeleide (df/dx)
- hoe snel de output verandert per eenheid duwtje van de input
- softmax
- exp van elke score gedeeld door het totaal: scores worden waarschijnlijkheden
- cross-entropy
- min de log van de kans op het juiste antwoord
- KL(P || Q)
- hoe verschillend twee verdelingen zijn; alleen nul wanneer ze overeenkomen; volgorde is belangrijk
Schrijf, voor 2D arrays van logits (één rij per voorbeeld):
logsumexp(z): log van de som van exp langs elke rij, veilig voor enorme waarden.stable_softmax(z): softmax over elke rij, veilig voor enorme waarden.nll(z, labels): de gemiddelde cross-entropy berekend direct vanuit logits alslogsumexp - z[true], waarbij nooit de log van een softmax wordt genomen.matmul_grads(X, W, G): voor Y = X @ W en een loss waarvan de gradiënt ten opzichte van Y is G, geef(dX, dW)terug, de gradiënten ten opzichte van X en W, zonder een Jacobian te bouwen.kl_normal(m1, s1, m2, s2): de KL divergentie van de klokcurve N(m1, s1) naar N(m2, s2), waarbij s1 en s2 spreads (standaarddeviaties) zijn.
De controles gebruiken elke keer nieuwe willekeurige vormen en getallen, en vergelijken met nudging en met een numeriek integraal.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Je voortgang wordt anoniem geteld. Verander dit
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.