Kurrikulum Leson 38 van 246 · Module 2: Wiskunde en waarskynlikheid, net soos nodig
Module 2: Wiskunde en waarskynlikheid, net soos nodig

Poort: die wiskunde, in kode (AI af)

Waarom dit saak maak Drie dele van hierdie module verskyn in elke latere een: 'n softmax wat groot getalle oorleef, die gradiënte van 'n matriks vermenigvuldiging, en die KL-divergensie. Ken jy hierdie wiskunde reeds? Jy kan hierdie hek eerste aanpak voor die ander lesse. As jy dit voltooi, word hierdie module as klaar gemerk en word die volgende een oop.

AI tutor af. Vir die softmax, gebruik die shift-trukie: om die grootste score van elke score af te trek verander niks op papier nie, maar hou elke exp by hoogstens 1. Ware logits kan groot wees, en 'n softmax wat nan op groot insets teruggee, bederf 'n opleidingloop stilweg.

Woorde en simbole in hierdie les
afgeleide (df/dx)
hoe vinnig die output verander per eenheid skuif van die input
softmax
exp van elke telling gedeel deur die totaal: tellings word waarskynlikhede
cross-entropy
minus die log van die waarskynlikheid wat aan die regte antwoord gegee word
KL(P || Q)
hoe verskil twee distribusies; nul slegs wanneer hulle ooreenstem; volgorde saaklik
Jou beurt

Skryf, vir 2D-arrays van logits (een ry per voorbeeld):

  • logsumexp(z): log van die som van exp langs elke ry, veilig vir enorme waardes.
  • stable_softmax(z): softmax langs elke ry, veilig vir enorme waardes.
  • nll(z, labels): die gemiddelde kruis-entropie wat direk vanaf logits as logsumexp - z[true] bereken word, sonder om ooit die log van 'n softmax te neem.
  • matmul_grads(X, W, G): vir Y = X @ W en 'n verlies waarvan gradiënt met betrekking tot Y is G, gee (dX, dW), die gradiënte met betrekking tot X en W, sonder om enige Jacobian te bou.
  • kl_normal(m1, s1, m2, s2): die KL-divergensie van die klokkurwe N(m1, s1) na N(m2, s2), waar s1 en s2 spreidings (standaardafwykings) is.

Die kontroles gebruik nuwe willeke vorms en nommers elke keer, en vergelyk met nudging en met 'n numeriese integraal.

AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Kode · loop in jou blutser
Uitset

        

Jou vordering word anoniem getel. Verander dit