Programma Lezione 35 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

La cross-entropy è la verosimiglianza travestita

Perché è importante I classificatori si addestrano con una loss chiamata cross-entropy. Sembra nuova, ma è l'idea della verosimiglianza di due lezioni fa.

Numeri piccolissimi

Un modello dice che le probabilità delle cifre 0, 1 e 2 sono [0.665, 0.245, 0.090]. La cifra vera è 0. Quanto il modello riteneva probabile la verità? 0.665. Con la massima verosimiglianza vogliamo quel numero grande; come loss vogliamo qualcosa di piccolo, quindi prendiamo meno il suo log: -log(0.665) = 0.408.

Se la cifra vera fosse 2, la loss sarebbe -log(0.090) = 2.41: il modello ha dato alla verità solo il 9%, quindi viene punito duramente. Una previsione perfetta (probabilità 1) ha loss 0.

Loss di cross-entropy: meno il log della probabilità che il modello ha dato alla risposta vera, mediato sugli esempi. È esattamente la log-verosimiglianza negativa.

Scegliere un elemento per riga

Con un batch ti serve, per ogni riga, la probabilità nella colonna vera di quella riga. NumPy lo fa con due array di indici della stessa lunghezza: probs[rows, cols] sceglie probs[rows[0], cols[0]], probs[rows[1], cols[1]] e così via. Con probs = [[0.7, 0.3], [0.2, 0.8]] ed etichette [0, 1], probs[np.arange(2), labels] dà [0.7, 0.8]: riga 0 colonna 0, poi riga 1 colonna 1. Si chiama fancy indexing.

Un punto di riferimento utile: un modello che indovina in modo uniforme su 10 classi dà a ciascuna 0.1, quindi la sua loss è -log(0.1) = 2.30. Un classificatore appena creato parte vicino a lì.

Riepilogo Loss = -log(probabilità data alla verità).

Parole e simboli di questa lezione
verosimiglianza
quanto sono probabili i dati che hai visto sotto un'impostazione del modello
cross-entropy
meno il log della probabilità data alla risposta giusta
Tocca a te

Scrivi cross_entropy(probs, labels): probs è (batch, classi) di probabilità, labels contiene la classe vera di ogni riga; restituisci la media di -log(probabilità della classe vera). Niente cicli. Poi imposta uniform_10_loss sulla loss di un'ipotesi uniforme su 10 classi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.