Programma Les 34 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Scores naar waarschijnlijkheden (softmax)

Waarom dit ertoe doet Een cijferclassificatie eindigt met 10 ruwe scores, één per cijfer. Om ze te lezen als "hoe waarschijnlijk is elk cijfer", moeten ze positief zijn en samen 1 vormen.

Tintalletjes

Scores [2, 1, 0]. Maak ze positief met exp: ongeveer [7.39, 2.72, 1.00]. Deel door het totaal, 11.11: [0.665, 0.245, 0.090]. Ze tellen op tot 1, houd dezelfde volgorde aan, en een hogere score betekent altijd een hogere waarschijnlijkheid.

Softmax: exp van elke score, gedeeld door de som van alle exps. Logits: de ruwe scores die naar binnen gaan.

Eén valkuil: het toevoegen van hetzelfde getal aan elke score verandert niets (het valt weg bij de deling). Probeer [1002, 1001, 1000]: hetzelfde antwoord als [2, 1, 0] op papier, maar exp(1002) veroorzaakt een overflow op een computer. Je lost dat op in de gate.

Samenvatting exp, dan delen door het totaal.

Woorden en symbolen in deze les
softmax
exp van elke score gedeeld door het totaal: scores worden waarschijnlijkheden
Jij bent aan de beurt

Schrijf softmax(z) voor een 1D array (de simpele versie is hier prima), en shift_invariant: stel het in op True als het toevoegen van hetzelfde getal aan elke score de output hetzelfde laat, of False als het deze verandert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.