Conteúdo do curso Lição 35 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

A entropia cruzada é probabilidade disfarçada

Por que isso importa Classificadores são treinados com uma perda chamada cross-entropy. Parece novo, mas é a ideia de verossimilhança de duas lições atrás.

Números pequenos

O modelo

A diz que as probabilidades dos dígitos 0, 1 e 2 são [0.665, 0.245, 0.090]. O dígito verdadeiro é 0. Qual a probabilidade que o modelo achou que era a verdade? 0.665. Sob máxima verossimilhança queremos que esse número seja grande; como perda queremos algo pequeno, então pegamos o menos do seu log: -log(0.665) = 0.408.

Se o dígito verdadeiro fosse 2, a perda seria -log(0.090) = 2.41: o modelo deu a verdade apenas 9%, então ele é punido fortemente. Uma previsão perfeita (probabilidade 1) tem perda 0.

Perda de entropia cruzada: menos o log da probabilidade que o modelo deu para a resposta verdadeira, tirado a média sobre os exemplos. É exatamente o log-verossimilhança negativo.

Escolhendo uma entrada por linha

Com um batch você precisa, para cada linha, a probabilidade na coluna verdadeira daquela linha. O NumPy faz isso com dois arrays de índice do mesmo comprimento: probs[rows, cols] escolhe probs[rows[0], cols[0]], probs[rows[1], cols[1]] e assim por diante. Com probs = [[0.7, 0.3], [0.2, 0.8]] e labels [0, 1], probs[np.arange(2), labels] dá [0.7, 0.8]: linha 0 coluna 0, depois linha 1 coluna 1. Isso é chamado de fancy indexing.

Um marco útil: um modelo que chuta uniformemente sobre 10 classes dá 0.1 para cada uma, então sua loss é -log(0.1) = 2.30. Um classificador novo começa perto daí.

Resumo Loss = -log(probability given to the truth).

Palavras e símbolos nesta lição
likelihood
quão provável os dados que você viu são sob uma configuração do modelo
cross-entropy
menos o log da probabilidade dada para a resposta correta
Sua vez

Escreva cross_entropy(probs, labels): probs é (batch, classes) de probabilidades, labels contém a classe verdadeira de cada linha; retorne a média de -log(probabilidade da classe verdadeira). Sem laços. Depois defina uniform_10_loss como a perda de um palpite uniforme sobre 10 classes.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.