Prueba de paso: un transformer roto (IA apagada)
Por qué importa Este es un paso hacia delante entero de un GPT escrito con el motor de la casa, y tiene dos fallos. Los dos son clásicos, y cada uno por sí solo ha engañado a equipos reales.
El tutor de IA está apagado. Un fallo deja que el modelo vea caracteres que se supone que debe predecir. El otro hace que la pila sea mucho más difícil de entrenar. Encuentra y arregla los dos.
Palabras y símbolos de esta lección
- consulta, clave, valor
- lo que busca una posición; lo que ofrece cada posición para emparejarse; lo que entrega
- cabeza
- una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Arregla logits. Cambiar un carácter no debe cambiar ninguna predicción de las posiciones anteriores, y tras 200 pasos la pérdida media de los últimos 20 pasos debe estar por debajo de 2.65.
IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.