La receta, para modelos de secuencias
Por qué importa Las dos comprobaciones del Módulo 8 (la pérdida al principio, memorizar un lote) siguen valiendo. Los modelos de secuencias añaden nuevas formas de fallar en silencio, y dos comprobaciones baratas pillan las peores antes de que gastes nada de cómputo.
El modelo de la clínica es un GPT diminuto: anchura 16, 2 bloques, 2 cabezas, 16 caracteres de contexto, 200 pasos de Adam con el texto del curso. Entrena en un par de segundos, así que te puedes permitir poner sondas.
Comprobación 1: la pérdida inicial
Un modelo nuevo con pesos pequeños reparte sus suposiciones por igual entre los V caracteres, así que su pérdida es ln(V). Para 95 caracteres eso es 4.55. Muy por encima significa que algo está mal escalado; muy por debajo significa que el modelo recibe una ayuda que no debería tener.
Comprobación 2: sin mirar
Cambia el último carácter de una entrada. Si cambia alguna predicción de una posición anterior, el modelo puede ver el futuro (Módulo 13), y todos los números de entrenamiento que obtengas son demasiado buenos para ser verdad.
| Sonda | Lo que te dice | Ejecución sana |
|---|---|---|
loss_curve(c) | La pérdida de entrenamiento cada 25 pasos, y la pérdida con texto no visto al final. Mira siempre esto primero. | de 4.55 a unos 2.9; no visto unos 3.0 |
loss_at_init(c) | La pérdida antes de entrenar. Un modelo nuevo que adivina por igual entre 95 caracteres da ln(95). | 4.55 |
leak_check(c) | ¿Puede un carácter posterior cambiar una predicción anterior? | False |
show_batch(c) | Una entrada de entrenamiento y su objetivo, como texto. | objetivo = la entrada movida un carácter a la izquierda |
update_ratio(c) | Después del primer paso de Adam, cuánto se movieron los pesos en relación con su tamaño. No es la regla del Módulo 8: ese rango de 0.001 a 0.1 es para pasos de SGD simple. El primer paso de Adam mueve cada peso más o menos la tasa de aprendizaje sea cual sea su gradiente, y estos pesos empiezan cerca de 0.02, así que 0.01 / 0.02 da unos 0.5. Compara un caso con esta ejecución sana, no con el rango del Módulo 8. | unos 0.5 |
block_change(c) | Cuánto cambia el primer bloque cada vector al principio. | unos 0.3 |
Palabras y símbolos de esta lección
- ln(V)
- la pérdida inicial de un modelo que adivina por igual entre V símbolos: 4.55 para 95 caracteres
- demasiado bueno para ser verdad
- una pérdida de entrenamiento mucho mejor que la de una ejecución sana, y una pérdida con texto no visto mucho peor
- cambio del bloque
- cuánto cambia un bloque un vector al principio; cerca de 1 significa que lo sustituyó
Escribe expected_start(V) y my_leak_check(c), usando los propios _init, _logits y DATA de la clínica. Deben coincidir con las sondas de la clínica.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.