La cross-entropy è la verosimiglianza travestita
Perché è importante I classificatori si addestrano con una loss chiamata cross-entropy. Sembra nuova, ma è l'idea della verosimiglianza di due lezioni fa.
Numeri piccolissimi
Un modello dice che le probabilità delle cifre 0, 1 e 2 sono [0.665, 0.245, 0.090]. La cifra vera è 0. Quanto il modello riteneva probabile la verità? 0.665. Con la massima verosimiglianza vogliamo quel numero grande; come loss vogliamo qualcosa di piccolo, quindi prendiamo meno il suo log: -log(0.665) = 0.408.
Se la cifra vera fosse 2, la loss sarebbe -log(0.090) = 2.41: il modello ha dato alla verità solo il 9%, quindi viene punito duramente. Una previsione perfetta (probabilità 1) ha loss 0.
Loss di cross-entropy: meno il log della probabilità che il modello ha dato alla risposta vera, mediato sugli esempi. È esattamente la log-verosimiglianza negativa.
Scegliere un elemento per riga
Con un batch ti serve, per ogni riga, la probabilità nella colonna vera di quella riga. NumPy lo fa con due array di indici della stessa lunghezza: probs[rows, cols] sceglie probs[rows[0], cols[0]], probs[rows[1], cols[1]] e così via. Con probs = [[0.7, 0.3], [0.2, 0.8]] ed etichette [0, 1], probs[np.arange(2), labels] dà [0.7, 0.8]: riga 0 colonna 0, poi riga 1 colonna 1. Si chiama fancy indexing.
Un punto di riferimento utile: un modello che indovina in modo uniforme su 10 classi dà a ciascuna 0.1, quindi la sua loss è -log(0.1) = 2.30. Un classificatore appena creato parte vicino a lì.
Riepilogo Loss = -log(probabilità data alla verità).
Parole e simboli di questa lezione
- verosimiglianza
- quanto sono probabili i dati che hai visto sotto un'impostazione del modello
- cross-entropy
- meno il log della probabilità data alla risposta giusta
Scrivi cross_entropy(probs, labels): probs è (batch, classi) di probabilità, labels contiene la classe vera di ogni riga; restituisci la media di -log(probabilità della classe vera). Niente cicli. Poi imposta uniform_10_loss sulla loss di un'ipotesi uniforme su 10 classi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.