Programma Lezione 34 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

Dai punteggi alle probabilità (softmax)

Perché è importante Un classificatore di cifre finisce con 10 punteggi grezzi, uno per cifra. Per leggerli come "quanto è probabile ogni cifra", devono essere positivi e sommare a 1.

Numeri piccolissimi

Punteggi [2, 1, 0]. Rendili positivi con exp: circa [7.39, 2.72, 1.00]. Dividi per il totale, 11.11: [0.665, 0.245, 0.090]. Sommano a 1, mantengono lo stesso ordine, e un punteggio più alto significa sempre una probabilità più alta.

Softmax: exp di ogni punteggio, diviso per la somma di tutti gli exp. Logit: i punteggi grezzi che entrano.

Una trappola: aggiungere lo stesso numero a ogni punteggio non cambia niente (si annulla nella divisione). Prova [1002, 1001, 1000]: sulla carta la stessa risposta di [2, 1, 0], ma su un computer exp(1002) va in overflow. Lo sistemerai nel cancello.

Riepilogo exp, poi dividi per il totale.

Parole e simboli di questa lezione
softmax
exp di ogni punteggio diviso per il totale: i punteggi diventano probabilità
Tocca a te

Scrivi softmax(z) per un array 1D (qui va bene la versione semplice), e shift_invariant: impostalo su True se aggiungere lo stesso numero a ogni punteggio lascia uguale l'output, o su False se lo cambia.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.