Clínica: tamaño del paso y pesos iniciales
Por qué importa Vuelven los fallos de tasa de aprendizaje y de escala del Módulo 8, con las huellas de Adam encima.
Con Adam, cada peso se mueve más o menos la tasa de aprendizaje en el primer paso, sea cual sea su gradiente. Así que la razón de actualización es una lectura directa del tamaño del paso: unos 0.5 en la ejecución sana (0.01 frente a pesos cerca de 0.02), unos 15 cuando la tasa es demasiado alta (la pérdida da bandazos), y unos 0.0005 cuando es demasiado baja (la pérdida apenas sale de 4.55). Unos pesos iniciales demasiado grandes hacen que las primeras predicciones sean muy seguras y equivocadas: la pérdida inicial queda muy por encima de 4.55.
Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config que devuelvan la ejecución a su estado sano. Los fallos de esta lección: lr_too_high, lr_too_low, init_too_big. Un buen diagnosticador rara vez necesita más de dos sondas por caso.
| Sonda | Lo que te dice | Ejecución sana |
|---|---|---|
loss_curve(c) | La pérdida de entrenamiento cada 25 pasos, y la pérdida con texto no visto al final. Mira siempre esto primero. | de 4.55 a unos 2.9; no visto unos 3.0 |
loss_at_init(c) | La pérdida antes de entrenar. Un modelo nuevo que adivina por igual entre 95 caracteres da ln(95). | 4.55 |
leak_check(c) | ¿Puede un carácter posterior cambiar una predicción anterior? | False |
show_batch(c) | Una entrada de entrenamiento y su objetivo, como texto. | objetivo = la entrada movida un carácter a la izquierda |
update_ratio(c) | Después del primer paso de Adam, cuánto se movieron los pesos en relación con su tamaño. No es la regla del Módulo 8: ese rango de 0.001 a 0.1 es para pasos de SGD simple. El primer paso de Adam mueve cada peso más o menos la tasa de aprendizaje sea cual sea su gradiente, y estos pesos empiezan cerca de 0.02, así que 0.01 / 0.02 da unos 0.5. Compara un caso con esta ejecución sana, no con el rango del Módulo 8. | unos 0.5 |
block_change(c) | Cuánto cambia el primer bloque cada vector al principio. | unos 0.3 |
Palabras y símbolos de esta lección
- ln(V)
- la pérdida inicial de un modelo que adivina por igual entre V símbolos: 4.55 para 95 caracteres
- cambio del bloque
- cuánto cambia un bloque un vector al principio; cerca de 1 significa que lo sustituyó
Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Después de tu arreglo, cada ajuste debe coincidir con la ejecución sana.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.