Temario Lección 161 de 246 · Módulo 14: Clínica de ejecuciones II
Módulo 14: Clínica de ejecuciones II

Clínica: tamaño del paso y pesos iniciales

Por qué importa Vuelven los fallos de tasa de aprendizaje y de escala del Módulo 8, con las huellas de Adam encima.

Con Adam, cada peso se mueve más o menos la tasa de aprendizaje en el primer paso, sea cual sea su gradiente. Así que la razón de actualización es una lectura directa del tamaño del paso: unos 0.5 en la ejecución sana (0.01 frente a pesos cerca de 0.02), unos 15 cuando la tasa es demasiado alta (la pérdida da bandazos), y unos 0.0005 cuando es demasiado baja (la pérdida apenas sale de 4.55). Unos pesos iniciales demasiado grandes hacen que las primeras predicciones sean muy seguras y equivocadas: la pérdida inicial queda muy por encima de 4.55.

Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config que devuelvan la ejecución a su estado sano. Los fallos de esta lección: lr_too_high, lr_too_low, init_too_big. Un buen diagnosticador rara vez necesita más de dos sondas por caso.

SondaLo que te diceEjecución sana
loss_curve(c)La pérdida de entrenamiento cada 25 pasos, y la pérdida con texto no visto al final. Mira siempre esto primero.de 4.55 a unos 2.9; no visto unos 3.0
loss_at_init(c)La pérdida antes de entrenar. Un modelo nuevo que adivina por igual entre 95 caracteres da ln(95).4.55
leak_check(c)¿Puede un carácter posterior cambiar una predicción anterior?False
show_batch(c)Una entrada de entrenamiento y su objetivo, como texto.objetivo = la entrada movida un carácter a la izquierda
update_ratio(c)Después del primer paso de Adam, cuánto se movieron los pesos en relación con su tamaño. No es la regla del Módulo 8: ese rango de 0.001 a 0.1 es para pasos de SGD simple. El primer paso de Adam mueve cada peso más o menos la tasa de aprendizaje sea cual sea su gradiente, y estos pesos empiezan cerca de 0.02, así que 0.01 / 0.02 da unos 0.5. Compara un caso con esta ejecución sana, no con el rango del Módulo 8.unos 0.5
block_change(c)Cuánto cambia el primer bloque cada vector al principio.unos 0.3
Palabras y símbolos de esta lección
ln(V)
la pérdida inicial de un modelo que adivina por igual entre V símbolos: 4.55 para 95 caracteres
cambio del bloque
cuánto cambia un bloque un vector al principio; cerca de 1 significa que lo sustituyó
Tu turno

Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Después de tu arreglo, cada ajuste debe coincidir con la ejecución sana.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.