Conteúdo do curso Lição 38 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Portão: a matemática, em código (IA desligada)

Por que isso importa Três partes deste módulo voltam em todos os próximos: uma softmax que sobrevive a números grandes, os gradientes de uma multiplicação de matriz e a divergência KL. Já conhece essa matemática? Você pode fazer este portão primeiro, antes das outras lições: passá-lo marca este módulo como concluído e abre o próximo.

IA desligada. Para o softmax, use o truque do shift: subtrair a maior score de cada score não muda nada no papel, mas mantém cada exp no máximo 1. Logits reais podem ser grandes, e um softmax que retorna nan em entradas grandes arruína silenciosamente uma rodada de treinamento.

Palavras e símbolos nesta lição
derivada (df/dx)
quão rápido a saída muda por unidade de ajuste da entrada
softmax
exp de cada score dividido pelo total: scores se tornam probabilidades
cross-entropy
menos o log da probabilidade dada para a resposta correta
KL(P || Q)
quão diferentes duas distribuições são; zero apenas quando elas coincidem; a ordem importa
Sua vez

Escreva, para arrays 2D de logits (uma linha por exemplo):

  • logsumexp(z): log da soma de exp em cada linha, seguro para valores enormes.
  • stable_softmax(z): softmax em cada linha, seguro para valores enormes.
  • nll(z, labels): a média de cross-entropy calculada diretamente a partir de logits como logsumexp - z[true], nunca calculando o log de um softmax.
  • matmul_grads(X, W, G): para Y = X @ W e uma perda cujo gradiente em relação a Y é G, retorne (dX, dW), os gradientes em relação a X e W, sem construir qualquer Jacobian.
  • kl_normal(m1, s1, m2, s2): a divergência KL da curva de sino N(m1, s1) para N(m2, s2), onde s1 e s2 são spreads (desvios padrão).

As verificações usam novas formas e números aleatórios toda vez, e comparam com nudging e com uma integral numérica.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Código · roda no seu navegador
Saída

        

Seu progresso é contado anonimamente. Mude isso