Kurrikulum Leson 36 van 246 · Module 2: Wiskunde en waarskynlikheid, net soos nodig
Module 2: Wiskunde en waarskynlikheid, net soos nodig

Die gradiënt van softmax, en waarom die verlies dit wegsteek

Waarom dit saak maak Softmax sit binne attention, waar sy gradient op sy eie nodig is. Saam met cross-entropy verval dit tot iets baie eenvoudig, en om te weet waarom is wat jou laat vertrou op die eenvoudige weergawe.

Die volledige gradiënt

Vir p = softmax(z), hang elke uitset van elke telling af. As jy zj skuif, beweeg pi by pi (1 - pi) keer die skuif wanneer i = j, en by - pi pj wanneer i nie j is nie: om een telling te verhoog trek dit waarskynlikheid weg van al die anderes. Soos een tabel (die Jacobian): diag(p) - p pT.

Achtertoe bou dit nooit daardie tabel nie. Gegee g = dL/dp, is die gradiënt met betrekking tot z is p * (g - (g · p)), item vir item: elke pi keer hoeveel sy eie g die waarskynlikheidsgewigte gemiddelde van g verslaan.

Klein getalle

p = [0.5, 0.3, 0.2] en g = [1, 0, 0]. Dan g · p = 0.5, en dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Die items tel by tot 0: om dieselfde hoeveelheid by elke telling by te voeg verander niks nie.

Waarom cross-entropy dit eenvoudig maak

Met L = -log py, is g -1 / py by die ware klas en 0 elders. Sit dit in p * (g - (g · p) en dit word p - onehot(y): die formule wat Module 3 gebruik het. Die eenvoudige vorm is dieselfde gradiënt, nie 'n kortpad nie.

Opsomming Softmax agterwaarts: p * (g - g · p). Met cross-entropy bo-op: p - onehot.

Woorde en simbole in hierdie les
softmax
exp van elke telling gedeel deur die totaal: tellings word waarskynlikhede
cross-entropy
minus die log van die waarskynlikheid wat aan die regte antwoord gegee word
Jou beurt

Skryf softmax_jacobian(z) (’n 1D-array van punte in, die (n, n) tabel uit) en softmax_backward(z, g) vir 2D-arrays (een ry per voorbeeld), deur p * (g - (g · p)) ry vir ry te gebruik, sonder om die tabel te bou. Die verborge toets toets albei teen nudging en kontroleer dat met cross-entropy se g die antwoord p - onehot is.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.