Temario Lección 46 de 246 · Módulo 3: De la neurona al MLP
Módulo 3: De la neurona al MLP

Un comprobador de gradientes que usarás todo el curso

Por qué importa Un gradiente equivocado no hace que nada falle. El entrenamiento simplemente va mal en silencio. Un comprobador de gradientes pilla el error en segundos, y usarás este en todos los módulos.

La idea es el empujón del Módulo 2, hecho con cada peso: empuja el peso i hacia arriba y hacia abajo en h, mide la pérdida las dos veces, y divide la diferencia entre 2h. Compáralo con el gradiente de tu fórmula.

¿Cuánto es cerca?

Usa el error relativo: |a - b| dividido entre el mayor de |a| y |b| (o 1e-8 si los dos son diminutos). Por debajo de 1e-6 es un aprobado; por encima de 1e-3 casi siempre significa un error en el código.

Comprobación de gradientes: comparar un gradiente analítico (de tu fórmula) con uno numérico (de empujar).

Resumen Un árbitro lento pero de fiar. Úsalo antes de fiarte de cualquier gradiente nuevo.

Palabras y símbolos de esta lección
tasa de aprendizaje (lr)
lo grande que es cada paso de entrenamiento
comprobación de gradientes
comparar tu fórmula del gradiente con una estimación de empujar y medir
Tu turno

Escribe numeric_grad(f, w, h=1e-5) (w es un array de NumPy de cualquier forma; devuelve un array de la misma forma) y grad_check(f, grad, w) que devuelva el mayor error relativo. Aquí f(w) recibe el array de pesos y devuelve la pérdida como un solo número, y grad es un array (el gradiente de tu fórmula en w, ya calculado), no una función. No cambies w de forma permanente. Para recorrer cada posición de un array de cualquier forma, for idx in np.ndindex(w.shape): te da cada tupla de índices por turnos. La prueba oculta le pasa a tu comprobador tres gradientes sutilmente equivocados; cada uno debe puntuar por encima de 1e-3.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.