Tus propias sondas
Por qué importa Las sondas son la forma de ver dentro de una ejecución. Escribirlas tú mismo significa que sabrás lo que significan los números cuando una herramienta te los enseñe.
Tres sondas hacen la mayor parte del trabajo:
- Tamaño del gradiente por capa: la longitud (norma) del gradiente de cada matriz de pesos. Todo cero: nada aprende. Muy distinto entre capas: una capa se está quedando sin nada.
- Proporción de muertas: la fracción de unidades ocultas que dan cero para todos los ejemplos de un lote.
- Razón de actualización a peso: la tasa de aprendizaje por el tamaño del gradiente, dividido entre el tamaño de los pesos. Dice qué fracción de cada peso cambia un paso. De unos 0.001 a 0.1 es sano; cerca de 1 significa que cada paso reescribe los pesos; cerca de 0 significa que nada se mueve.
El entorno de pruebas deja ver sus tripas: _data(c) da los datos de entrenamiento, _init(c) los pesos iniciales, y _fb(p, X, y, c) devuelve (pérdida, gradientes, activaciones ocultas).
Palabras y símbolos de esta lección
- sonda
- una medición rápida de una ejecución, como el tamaño de los gradientes o las unidades muertas
- razón de actualización a peso
- cuánto cambia un paso cada peso, en relación con su tamaño
Escribe my_grad_norms(c), my_dead_share(c) y my_update_ratio(c) usando los 256 primeros ejemplos de entrenamiento y los pesos iniciales. Deben coincidir con las sondas de la clínica.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.