Lehrplan Lektion 38 von 246 · Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Tor: die Mathematik, in Code (KI aus)

Warum das wichtig ist Drei Teile dieses Moduls kommen in jedem späteren Modul vor: ein softmax, das große Zahlen übersteht, die Gradienten einer Matrixmultiplikation und die KL-Divergenz. Kennst du diese Mathematik bereits? Du kannst dieses Tor zuerst nehmen, vor den anderen Lektionen: das Bestehen markiert dieses Modul als abgeschlossen und öffnet das nächste.

KI aus. Für den softmax nutze den shift trick: das Abziehen des größten scores von jedem score ändert auf dem Papier nichts, aber hält jeden exp auf maximal 1. Reale logits können groß sein, und ein softmax, das bei großen inputs nan zurückgibt, ruiniert einen training run stillschweigend.

Wörter und Symbole in dieser Lektion
derivative (df/dx)
wie schnell sich der output pro Einheit Nudge des inputs ändert
softmax
exp von jedem Score geteilt durch die Gesamtsumme: scores werden zu Wahrscheinlichkeiten
cross-entropy
minus der Logarithmus der Wahrscheinlichkeit für die richtige Antwort
KL(P || Q)
wie unterschiedlich zwei Verteilungen sind; nur null wenn sie übereinstimmen; die Reihenfolge zählt
Du bist dran

Schreibe für 2D-Arrays von Logits (eine Zeile pro Beispiel):

  • logsumexp(z): Logarithmus der Summe von exp entlang jeder Zeile, sicher für riesige Werte.
  • stable_softmax(z): softmax entlang jeder Zeile, sicher für riesige Werte.
  • nll(z, labels): der Mittelwert der Cross-Entropy, der direkt aus den Logits als logsumexp - z[true] berechnet wird, ohne jemals den Log eines Softmax zu nehmen.
  • matmul_grads(X, W, G): für Y = X @ W und einen Verlust, dessen Gradient in Bezug auf Y G ist, gib (dX, dW) zurück, die Gradienten in Bezug auf X und W, ohne einen Jacobian aufzubauen.
  • kl_normal(m1, s1, m2, s2): die KL Divergenz von der Glockenkurve N(m1, s1) zu N(m2, s2), wobei s1 und s2 Spreads (Standardabweichungen) sind.

Die Prüfungen verwenden jedes Mal neue zufällige Formen und Zahlen und vergleichen sie mit nudging und mit einem numerischen Integral.

KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Code · läuft in deinem Browser
Ausgabe

        

Dein Fortschritt wird anonym gezählt. Dies ändern