Conteúdo do curso Lição 34 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Pontuações em probabilidades (softmax)

Por que isso importa Um classificador de dígitos termina com 10 scores brutos, um por dígito. Para lê-los como "qual a probabilidade de cada dígito", eles devem ser positivos e somar 1.

Números pequenos

Scores [2, 1, 0]. Deixe-os positivos com exp: sobre [7.39, 2.72, 1.00]. Divida pelo total, 11.11: [0.665, 0.245, 0.090]. Eles somam 1, mantenha a mesma ordem, e um score maior sempre significa uma probabilidade maior.

Softmax: exp de cada score, dividido pela soma de todas as exps. Logits: os scores brutos que entram.

Uma armadilha: adicionar o mesmo número a cada score não muda nada (ele se cancela na divisão). Tente [1002, 1001, 1000]: mesma resposta que [2, 1, 0] no papel, mas exp(1002) estoura em um computador. Você vai corrigir isso no gate.

Resumo exp, depois divida pelo total.

Palavras e símbolos nesta lição
softmax
exp de cada score dividido pelo total: scores se tornam probabilidades
Sua vez

Escreva softmax(z) para um array 1D (a versão simples está ok aqui), e shift_invariant: defina como True se adicionar o mesmo número a cada score deixa a saída igual, ou False se isso a mudar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.