Prueba de paso: las matemáticas, en código (IA apagada)
Por qué importa Tres piezas de este módulo vuelven en todos los siguientes: un softmax que sobrevive a números grandes, los gradientes de una multiplicación de matrices y la divergencia KL. ¿Ya conoces estas matemáticas? Puedes hacer esta prueba de paso primero, antes de las otras lecciones: aprobarla marca este módulo como hecho y abre el siguiente.
Tutor de IA apagado. Para el softmax, usa el truco del desplazamiento: restar la puntuación más grande de todas las puntuaciones no cambia nada sobre el papel, pero mantiene cada exp en 1 como mucho. Los logits reales pueden ser grandes, y un softmax que devuelve nan con entradas grandes arruina en silencio un entrenamiento.
Palabras y símbolos de esta lección
- derivada (df/dx)
- lo rápido que cambia la salida por cada unidad de empujón de la entrada
- softmax
- exp de cada puntuación dividido entre el total: las puntuaciones se vuelven probabilidades
- entropía cruzada
- menos el log de la probabilidad dada a la respuesta correcta
- KL(P || Q)
- cuánto se diferencian dos distribuciones; cero solo cuando coinciden; el orden importa
Escribe, para arrays 2D de logits (una fila por ejemplo):
logsumexp(z): el log de la suma de exp a lo largo de cada fila, seguro con valores enormes.stable_softmax(z): softmax a lo largo de cada fila, seguro con valores enormes.nll(z, labels): la entropía cruzada media calculada directamente a partir de los logits comologsumexp - z[true], sin tomar nunca el log de un softmax.matmul_grads(X, W, G): para Y = X @ W y una pérdida cuyo gradiente respecto a Y es G, devuelve(dX, dW), los gradientes respecto a X y W, sin construir ningún jacobiano.kl_normal(m1, s1, m2, s2): la divergencia KL de la campana N(m1, s1) a N(m2, s2), donde s1 y s2 son dispersiones (desviaciones típicas).
Las comprobaciones usan formas y números aleatorios nuevos cada vez, y comparan con empujones y con una integral numérica.
IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Tu progreso se cuenta de forma anónima. Cambiar esto
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.