Softmax y entropía cruzada juntas
Por qué importa Todos los clasificadores de este curso terminan con softmax más entropía cruzada. Su gradiente combinado es uno de los resultados más útiles del aprendizaje profundo, y es corto.
Números diminutos
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], clase verdadera 0 (one-hot [1, 0, 0]). El gradiente de la pérdida respecto a los logits es simplemente softmax menos one-hot: [-0.335, 0.245, 0.090]. En palabras: sube la puntuación de la clase verdadera en lo que le faltó, y baja cada otra puntuación en la probabilidad que se llevó por error.
One-hot: un vector de ceros con un solo 1 en la clase verdadera.
Para un lote, haz la media sobre las filas: (softmax(Z) - onehot) / n.
Resumen Gradiente = predicción menos verdad, otra vez.
Palabras y símbolos de esta lección
- one-hot
- ceros con un solo 1 en la clase verdadera
- comprobación de gradientes
- comparar tu fórmula del gradiente con una estimación de empujar y medir
Escribe loss_and_grad(Z, labels) que devuelva la entropía cruzada media y su gradiente respecto a Z (forma (batch, classes)). Usa un softmax estable. Compruébalo tú mismo con tu comprobador de gradientes antes de enviarlo.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.