Temario Lección 158 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Prueba de paso: un transformer roto (IA apagada)

Por qué importa Este es un paso hacia delante entero de un GPT escrito con el motor de la casa, y tiene dos fallos. Los dos son clásicos, y cada uno por sí solo ha engañado a equipos reales.

El tutor de IA está apagado. Un fallo deja que el modelo vea caracteres que se supone que debe predecir. El otro hace que la pila sea mucho más difícil de entrenar. Encuentra y arregla los dos.

Palabras y símbolos de esta lección
consulta, clave, valor
lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Tu turno

Arregla logits. Cambiar un carácter no debe cambiar ninguna predicción de las posiciones anteriores, y tras 200 pasos la pérdida media de los últimos 20 pasos debe estar por debajo de 2.65.

IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.