Temario Lección 38 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

Prueba de paso: las matemáticas, en código (IA apagada)

Por qué importa Tres piezas de este módulo vuelven en todos los siguientes: un softmax que sobrevive a números grandes, los gradientes de una multiplicación de matrices y la divergencia KL. ¿Ya conoces estas matemáticas? Puedes hacer esta prueba de paso primero, antes de las otras lecciones: aprobarla marca este módulo como hecho y abre el siguiente.

Tutor de IA apagado. Para el softmax, usa el truco del desplazamiento: restar la puntuación más grande de todas las puntuaciones no cambia nada sobre el papel, pero mantiene cada exp en 1 como mucho. Los logits reales pueden ser grandes, y un softmax que devuelve nan con entradas grandes arruina en silencio un entrenamiento.

Palabras y símbolos de esta lección
derivada (df/dx)
lo rápido que cambia la salida por cada unidad de empujón de la entrada
softmax
exp de cada puntuación dividido entre el total: las puntuaciones se vuelven probabilidades
entropía cruzada
menos el log de la probabilidad dada a la respuesta correcta
KL(P || Q)
cuánto se diferencian dos distribuciones; cero solo cuando coinciden; el orden importa
Tu turno

Escribe, para arrays 2D de logits (una fila por ejemplo):

  • logsumexp(z): el log de la suma de exp a lo largo de cada fila, seguro con valores enormes.
  • stable_softmax(z): softmax a lo largo de cada fila, seguro con valores enormes.
  • nll(z, labels): la entropía cruzada media calculada directamente a partir de los logits como logsumexp - z[true], sin tomar nunca el log de un softmax.
  • matmul_grads(X, W, G): para Y = X @ W y una pérdida cuyo gradiente respecto a Y es G, devuelve (dX, dW), los gradientes respecto a X y W, sin construir ningún jacobiano.
  • kl_normal(m1, s1, m2, s2): la divergencia KL de la campana N(m1, s1) a N(m2, s2), donde s1 y s2 son dispersiones (desviaciones típicas).

Las comprobaciones usan formas y números aleatorios nuevos cada vez, y comparan con empujones y con una integral numérica.

IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Código · se ejecuta en tu navegador
Salida

        

Tu progreso se cuenta de forma anónima. Cambiar esto