Temario Lección 239 de 246 · Módulo 23: Estudio del proyecto final: una ficha del modelo que se puede ejecutar
Módulo 23: Estudio del proyecto final: una ficha del modelo que se puede ejecutar

Encuentra y arregla el error plantado

Por qué importa Los peores errores en aprendizaje automático no hacen que nada falle. Entrenan, un poco peor de lo que deberían, y nadie se da cuenta. Una comprobación de gradientes los encuentra en segundos.

Un colega reescribió el código de gradientes del estudio para hacerlo más rápido: suspect_grads. No puedes leerlo, como pasa a menudo en el trabajo real (una biblioteca, la rama de un compañero, código generado). Entrenada con él, tu referencia base sigue aprendiendo: con el plan por defecto del curso la puntuación de lenguaje solo es unos 0.05 peor, y con imágenes, con la semilla 0, hasta puntúa más alto. Las dos cosas quedan dentro de lo que un lector descuidado llama ruido. Algo en él está mal.

Compruébalo como enseñó el Módulo 3: empuja un peso una cantidad pequeña, mide el cambio de la pérdida, y compáralo con la pendiente que dice el código. Hazlo con 5 entradas de cada uno de W1, b1, W2 y b2 en un modelo pequeño (anchura 8, un lote de 16), elegidas entre las entradas cuya pendiente declarada no es cero (con entradas one-hot, la mayoría de las pendientes de W1 son exactamente 0, y una comprobación ahí no demuestra nada). Mide la pérdida en float64 con studio.loss64 y un empujón de 1e-4; considera mal un error relativo por encima de 0.01.

Palabras y símbolos de esta lección
referencia base
la ejecución normal con la que se compara cada cambio, con las mismas semillas
comprobación de gradientes
comparar la pendiente que calcula tu código con la pendiente medida empujando un peso
Tu turno

Escribe check(grad_fn) que devuelva, para cada uno de 'W1', 'b1', 'W2', 'b2', el mayor error relativo sobre 5 entradas. Pon en wrong los nombres ordenados cuyo error pasa de 0.01, y en cause una frase: qué hay en la pasada hacia atrás donde están los gradientes equivocados, y qué se olvidó probablemente ahí. Luego escribe fixed_grads tú mismo (la pasada hacia delante es m.forward; la pérdida y su pendiente son studio.loss_and_dout). Luego entrena tu referencia base (semilla 0) con cada uno e imprime las dos puntuaciones.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.