Portão: a matemática, em código (IA desligada)
Por que isso importa Três partes deste módulo voltam em todos os próximos: uma softmax que sobrevive a números grandes, os gradientes de uma multiplicação de matriz e a divergência KL. Já conhece essa matemática? Você pode fazer este portão primeiro, antes das outras lições: passá-lo marca este módulo como concluído e abre o próximo.
IA desligada. Para o softmax, use o truque do shift: subtrair a maior score de cada score não muda nada no papel, mas mantém cada exp no máximo 1. Logits reais podem ser grandes, e um softmax que retorna nan em entradas grandes arruína silenciosamente uma rodada de treinamento.
Palavras e símbolos nesta lição
- derivada (df/dx)
- quão rápido a saída muda por unidade de ajuste da entrada
- softmax
- exp de cada score dividido pelo total: scores se tornam probabilidades
- cross-entropy
- menos o log da probabilidade dada para a resposta correta
- KL(P || Q)
- quão diferentes duas distribuições são; zero apenas quando elas coincidem; a ordem importa
Escreva, para arrays 2D de logits (uma linha por exemplo):
logsumexp(z): log da soma de exp em cada linha, seguro para valores enormes.stable_softmax(z): softmax em cada linha, seguro para valores enormes.nll(z, labels): a média de cross-entropy calculada diretamente a partir de logits comologsumexp - z[true], nunca calculando o log de um softmax.matmul_grads(X, W, G): para Y = X @ W e uma perda cujo gradiente em relação a Y é G, retorne(dX, dW), os gradientes em relação a X e W, sem construir qualquer Jacobian.kl_normal(m1, s1, m2, s2): a divergência KL da curva de sino N(m1, s1) para N(m2, s2), onde s1 e s2 são spreads (desvios padrão).
As verificações usam novas formas e números aleatórios toda vez, e comparam com nudging e com uma integral numérica.
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Seu progresso é contado anonimamente. Mude isso
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.