Temario Lección 159 de 246 · Módulo 14: Clínica de ejecuciones II
Módulo 14: Clínica de ejecuciones II

La receta, para modelos de secuencias

Por qué importa Las dos comprobaciones del Módulo 8 (la pérdida al principio, memorizar un lote) siguen valiendo. Los modelos de secuencias añaden nuevas formas de fallar en silencio, y dos comprobaciones baratas pillan las peores antes de que gastes nada de cómputo.

El modelo de la clínica es un GPT diminuto: anchura 16, 2 bloques, 2 cabezas, 16 caracteres de contexto, 200 pasos de Adam con el texto del curso. Entrena en un par de segundos, así que te puedes permitir poner sondas.

Comprobación 1: la pérdida inicial

Un modelo nuevo con pesos pequeños reparte sus suposiciones por igual entre los V caracteres, así que su pérdida es ln(V). Para 95 caracteres eso es 4.55. Muy por encima significa que algo está mal escalado; muy por debajo significa que el modelo recibe una ayuda que no debería tener.

Comprobación 2: sin mirar

Cambia el último carácter de una entrada. Si cambia alguna predicción de una posición anterior, el modelo puede ver el futuro (Módulo 13), y todos los números de entrenamiento que obtengas son demasiado buenos para ser verdad.

SondaLo que te diceEjecución sana
loss_curve(c)La pérdida de entrenamiento cada 25 pasos, y la pérdida con texto no visto al final. Mira siempre esto primero.de 4.55 a unos 2.9; no visto unos 3.0
loss_at_init(c)La pérdida antes de entrenar. Un modelo nuevo que adivina por igual entre 95 caracteres da ln(95).4.55
leak_check(c)¿Puede un carácter posterior cambiar una predicción anterior?False
show_batch(c)Una entrada de entrenamiento y su objetivo, como texto.objetivo = la entrada movida un carácter a la izquierda
update_ratio(c)Después del primer paso de Adam, cuánto se movieron los pesos en relación con su tamaño. No es la regla del Módulo 8: ese rango de 0.001 a 0.1 es para pasos de SGD simple. El primer paso de Adam mueve cada peso más o menos la tasa de aprendizaje sea cual sea su gradiente, y estos pesos empiezan cerca de 0.02, así que 0.01 / 0.02 da unos 0.5. Compara un caso con esta ejecución sana, no con el rango del Módulo 8.unos 0.5
block_change(c)Cuánto cambia el primer bloque cada vector al principio.unos 0.3
Palabras y símbolos de esta lección
ln(V)
la pérdida inicial de un modelo que adivina por igual entre V símbolos: 4.55 para 95 caracteres
demasiado bueno para ser verdad
una pérdida de entrenamiento mucho mejor que la de una ejecución sana, y una pérdida con texto no visto mucho peor
cambio del bloque
cuánto cambia un bloque un vector al principio; cerca de 1 significa que lo sustituyó
Tu turno

Escribe expected_start(V) y my_leak_check(c), usando los propios _init, _logits y DATA de la clínica. Deben coincidir con las sondas de la clínica.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.