Tor: die Mathematik, in Code (KI aus)
Warum das wichtig ist Drei Teile dieses Moduls kommen in jedem späteren Modul vor: ein softmax, das große Zahlen übersteht, die Gradienten einer Matrixmultiplikation und die KL-Divergenz. Kennst du diese Mathematik bereits? Du kannst dieses Tor zuerst nehmen, vor den anderen Lektionen: das Bestehen markiert dieses Modul als abgeschlossen und öffnet das nächste.
KI aus. Für den softmax nutze den shift trick: das Abziehen des größten scores von jedem score ändert auf dem Papier nichts, aber hält jeden exp auf maximal 1. Reale logits können groß sein, und ein softmax, das bei großen inputs nan zurückgibt, ruiniert einen training run stillschweigend.
Wörter und Symbole in dieser Lektion
- derivative (df/dx)
- wie schnell sich der output pro Einheit Nudge des inputs ändert
- softmax
- exp von jedem Score geteilt durch die Gesamtsumme: scores werden zu Wahrscheinlichkeiten
- cross-entropy
- minus der Logarithmus der Wahrscheinlichkeit für die richtige Antwort
- KL(P || Q)
- wie unterschiedlich zwei Verteilungen sind; nur null wenn sie übereinstimmen; die Reihenfolge zählt
Schreibe für 2D-Arrays von Logits (eine Zeile pro Beispiel):
logsumexp(z): Logarithmus der Summe von exp entlang jeder Zeile, sicher für riesige Werte.stable_softmax(z): softmax entlang jeder Zeile, sicher für riesige Werte.nll(z, labels): der Mittelwert der Cross-Entropy, der direkt aus den Logits alslogsumexp - z[true]berechnet wird, ohne jemals den Log eines Softmax zu nehmen.matmul_grads(X, W, G): für Y = X @ W und einen Verlust, dessen Gradient in Bezug auf Y G ist, gib(dX, dW)zurück, die Gradienten in Bezug auf X und W, ohne einen Jacobian aufzubauen.kl_normal(m1, s1, m2, s2): die KL Divergenz von der Glockenkurve N(m1, s1) zu N(m2, s2), wobei s1 und s2 Spreads (Standardabweichungen) sind.
Die Prüfungen verwenden jedes Mal neue zufällige Formen und Zahlen und vergleichen sie mit nudging und mit einem numerischen Integral.
KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Dein Fortschritt wird anonym gezählt. Dies ändern
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.