Softmax y entropía cruzada en un solo paso
Por qué importa Podrías construir softmax con exp, sum y una división, pero el resultado es más lento y puede desbordarse. Todas las bibliotecas reales funden softmax y entropía cruzada en una sola operación con el gradiente sencillo que derivaste en el Módulo 3.
Una operación fundida calcula su pasada hacia delante de una vez (con el desplazamiento por el máximo para ir seguro) y tiene una sola regla hacia atrás: (softmax - onehot) / n, por el gradiente que llega. También necesitas relu para una red: deja pasar el gradiente donde la entrada era positiva.
Resumen Funde lo que puedas; el gradiente combinado es más sencillo que sus partes.
Palabras y símbolos de esta lección
- Tensor
- aquí: un array más su gradiente más los Tensor de los que salió
- .grad
- el gradiente de la pérdida final respecto a este Tensor
- unbroadcast
- sumar un gradiente hasta devolverlo a la forma desde la que se estiró
Escribe relu y cross_entropy(labels) (sobre un Tensor de logits de (batch, classes), que devuelva un Tensor escalar) con sus reglas hacia atrás.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.