Die gradiënt van softmax, en waarom die verlies dit wegsteek
Waarom dit saak maak Softmax sit binne attention, waar sy gradient op sy eie nodig is. Saam met cross-entropy verval dit tot iets baie eenvoudig, en om te weet waarom is wat jou laat vertrou op die eenvoudige weergawe.
Die volledige gradiënt
Vir p = softmax(z), hang elke uitset van elke telling af. As jy zj skuif, beweeg pi by pi (1 - pi) keer die skuif wanneer i = j, en by - pi pj wanneer i nie j is nie: om een telling te verhoog trek dit waarskynlikheid weg van al die anderes. Soos een tabel (die Jacobian): diag(p) - p pT.
Achtertoe bou dit nooit daardie tabel nie. Gegee g = dL/dp, is die gradiënt met betrekking tot z is p * (g - (g · p)), item vir item: elke pi keer hoeveel sy eie g die waarskynlikheidsgewigte gemiddelde van g verslaan.
Klein getalle
p = [0.5, 0.3, 0.2] en g = [1, 0, 0]. Dan g · p = 0.5, en dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Die items tel by tot 0: om dieselfde hoeveelheid by elke telling by te voeg verander niks nie.
Waarom cross-entropy dit eenvoudig maak
Met L = -log py, is g -1 / py by die ware klas en 0 elders. Sit dit in p * (g - (g · p) en dit word p - onehot(y): die formule wat Module 3 gebruik het. Die eenvoudige vorm is dieselfde gradiënt, nie 'n kortpad nie.
Opsomming Softmax agterwaarts: p * (g - g · p). Met cross-entropy bo-op: p - onehot.
Woorde en simbole in hierdie les
- softmax
- exp van elke telling gedeel deur die totaal: tellings word waarskynlikhede
- cross-entropy
- minus die log van die waarskynlikheid wat aan die regte antwoord gegee word
Skryf softmax_jacobian(z) (’n 1D-array van punte in, die (n, n) tabel uit) en softmax_backward(z, g) vir 2D-arrays (een ry per voorbeeld), deur p * (g - (g · p)) ry vir ry te gebruik, sonder om die tabel te bou. Die verborge toets toets albei teen nudging en kontroleer dat met cross-entropy se g die antwoord p - onehot is.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.