Temario Lección 160 de 246 · Módulo 14: Clínica de ejecuciones II
Módulo 14: Clínica de ejecuciones II

Clínica: demasiado bueno, o demasiado atascado

Por qué importa Las ejecuciones más peligrosas son las que parecen estupendas. Un modelo que puede ver sus respuestas da una pérdida de entrenamiento maravillosa y no sirve para nada.

Sin máscara: el modelo puede mirar el carácter siguiente, así que su pérdida de entrenamiento baja más que la de una ejecución sana, mientras que su pérdida con texto no visto (medida con honestidad, solo a partir de los caracteres anteriores) es mucho peor. Objetivos sin desplazar: el objetivo es la propia entrada, así que el modelo aprende a copiar el carácter que está mirando. La pérdida de entrenamiento se va casi a 0, y con texto no visto es terrible. Sin residual: cada bloque sustituye h en vez de sumarle algo, así que la pila es difícil de entrenar y la pérdida se atasca pronto.

Cada caso de abajo es un entrenamiento con un fallo plantado. Para cada uno: gasta sondas para encontrar el fallo, y luego escribe un arreglo como cambios de config que devuelvan la ejecución a su estado sano. Los fallos de esta lección: no_mask, targets_not_shifted, no_residual. Un buen diagnosticador rara vez necesita más de dos sondas por caso.

SondaLo que te diceEjecución sana
loss_curve(c)La pérdida de entrenamiento cada 25 pasos, y la pérdida con texto no visto al final. Mira siempre esto primero.de 4.55 a unos 2.9; no visto unos 3.0
loss_at_init(c)La pérdida antes de entrenar. Un modelo nuevo que adivina por igual entre 95 caracteres da ln(95).4.55
leak_check(c)¿Puede un carácter posterior cambiar una predicción anterior?False
show_batch(c)Una entrada de entrenamiento y su objetivo, como texto.objetivo = la entrada movida un carácter a la izquierda
update_ratio(c)Después del primer paso de Adam, cuánto se movieron los pesos en relación con su tamaño. No es la regla del Módulo 8: ese rango de 0.001 a 0.1 es para pasos de SGD simple. El primer paso de Adam mueve cada peso más o menos la tasa de aprendizaje sea cual sea su gradiente, y estos pesos empiezan cerca de 0.02, así que 0.01 / 0.02 da unos 0.5. Compara un caso con esta ejecución sana, no con el rango del Módulo 8.unos 0.5
block_change(c)Cuánto cambia el primer bloque cada vector al principio.unos 0.3
Palabras y símbolos de esta lección
ln(V)
la pérdida inicial de un modelo que adivina por igual entre V símbolos: 4.55 para 95 caracteres
cambio del bloque
cuánto cambia un bloque un vector al principio; cerca de 1 significa que lo sustituyó
Tu turno

Rellena diagnosis (de caso a nombre del fallo) y fixes (de caso a un diccionario de cambios de config) para los casos A, B y C. Después de tu arreglo, cada ajuste debe coincidir con la ejecución sana.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.