Poort: die wiskunde, in kode (AI af)
Waarom dit saak maak Drie dele van hierdie module verskyn in elke latere een: 'n softmax wat groot getalle oorleef, die gradiënte van 'n matriks vermenigvuldiging, en die KL-divergensie. Ken jy hierdie wiskunde reeds? Jy kan hierdie hek eerste aanpak voor die ander lesse. As jy dit voltooi, word hierdie module as klaar gemerk en word die volgende een oop.
AI tutor af. Vir die softmax, gebruik die shift-trukie: om die grootste score van elke score af te trek verander niks op papier nie, maar hou elke exp by hoogstens 1. Ware logits kan groot wees, en 'n softmax wat nan op groot insets teruggee, bederf 'n opleidingloop stilweg.
Woorde en simbole in hierdie les
- afgeleide (df/dx)
- hoe vinnig die output verander per eenheid skuif van die input
- softmax
- exp van elke telling gedeel deur die totaal: tellings word waarskynlikhede
- cross-entropy
- minus die log van die waarskynlikheid wat aan die regte antwoord gegee word
- KL(P || Q)
- hoe verskil twee distribusies; nul slegs wanneer hulle ooreenstem; volgorde saaklik
Skryf, vir 2D-arrays van logits (een ry per voorbeeld):
logsumexp(z): log van die som van exp langs elke ry, veilig vir enorme waardes.stable_softmax(z): softmax langs elke ry, veilig vir enorme waardes.nll(z, labels): die gemiddelde kruis-entropie wat direk vanaf logits aslogsumexp - z[true]bereken word, sonder om ooit die log van 'n softmax te neem.matmul_grads(X, W, G): vir Y = X @ W en 'n verlies waarvan gradiënt met betrekking tot Y is G, gee(dX, dW), die gradiënte met betrekking tot X en W, sonder om enige Jacobian te bou.kl_normal(m1, s1, m2, s2): die KL-divergensie van die klokkurwe N(m1, s1) na N(m2, s2), waar s1 en s2 spreidings (standaardafwykings) is.
Die kontroles gebruik nuwe willeke vorms en nommers elke keer, en vergelyk met nudging en met 'n numeriese integraal.
AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Jou vordering word anoniem getel. Verander dit
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.