A entropia cruzada é probabilidade disfarçada
Por que isso importa Classificadores são treinados com uma perda chamada cross-entropy. Parece novo, mas é a ideia de verossimilhança de duas lições atrás.
Números pequenos
O modeloA diz que as probabilidades dos dígitos 0, 1 e 2 são [0.665, 0.245, 0.090]. O dígito verdadeiro é 0. Qual a probabilidade que o modelo achou que era a verdade? 0.665. Sob máxima verossimilhança queremos que esse número seja grande; como perda queremos algo pequeno, então pegamos o menos do seu log: -log(0.665) = 0.408.
Se o dígito verdadeiro fosse 2, a perda seria -log(0.090) = 2.41: o modelo deu a verdade apenas 9%, então ele é punido fortemente. Uma previsão perfeita (probabilidade 1) tem perda 0.
Perda de entropia cruzada: menos o log da probabilidade que o modelo deu para a resposta verdadeira, tirado a média sobre os exemplos. É exatamente o log-verossimilhança negativo.
Escolhendo uma entrada por linha
Com um batch você precisa, para cada linha, a probabilidade na coluna verdadeira daquela linha. O NumPy faz isso com dois arrays de índice do mesmo comprimento: probs[rows, cols] escolhe probs[rows[0], cols[0]], probs[rows[1], cols[1]] e assim por diante. Com probs = [[0.7, 0.3], [0.2, 0.8]] e labels [0, 1], probs[np.arange(2), labels] dá [0.7, 0.8]: linha 0 coluna 0, depois linha 1 coluna 1. Isso é chamado de fancy indexing.
Um marco útil: um modelo que chuta uniformemente sobre 10 classes dá 0.1 para cada uma, então sua loss é -log(0.1) = 2.30. Um classificador novo começa perto daí.
Resumo Loss = -log(probability given to the truth).
Palavras e símbolos nesta lição
- likelihood
- quão provável os dados que você viu são sob uma configuração do modelo
- cross-entropy
- menos o log da probabilidade dada para a resposta correta
Escreva cross_entropy(probs, labels): probs é (batch, classes) de probabilidades, labels contém a classe verdadeira de cada linha; retorne a média de -log(probabilidade da classe verdadeira). Sem laços. Depois defina uniform_10_loss como a perda de um palpite uniforme sobre 10 classes.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.