Un profesor grande, un alumno pequeño (destilación)
Por qué importa Los modelos pequeños son baratos de ejecutar. La destilación (Hinton, Vinyals y Dean, 2015) entrena un modelo pequeño para que copie las respuestas completas de uno grande, no solo la respuesta correcta: "probablemente e, quizá a, seguro que z no". Esas respuestas suaves llevan más información por ejemplo que el texto solo.
El alumno: un GPT de anchura 16 (unos 8,000 pesos). El profesor: el GPT de anchura 64. La pérdida mezcla dos partes: la mitad entropía cruzada normal con el texto, la mitad entropía cruzada con las probabilidades del profesor, las dos suavizadas con una temperatura de 2 para que cuenten las segundas opciones del profesor.
El curso entrenó al alumno de las dos maneras, 3 semillas, y grabó la pérdida con inglés reservado a los 300, 1000 y 3000 pasos.
Predice primero: a los 300 pasos, ¿el alumno con profesor le gana al entrenado solo? ¿Y a los 3000?
Palabras y símbolos de esta lección
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- destilación
- entrenar un alumno pequeño para que copie las probabilidades completas de un profesor grande
- temperatura (destilación)
- dividir las puntuaciones antes del softmax para que las segundas opciones cuenten más
Pon guess para 300 y 3000 pasos a "taught wins" (gana el de profesor), "alone wins" (gana el solo) o "no clear difference" (ninguna diferencia clara). Luego rellena gap: para cada uno de 300, 1000 y 3000 pasos, la media del solo menos la media del de profesor (positivo significa que la destilación ayudó), y pon verdict a partir de ella con la regla: una diferencia de menos de 0.03 en cualquier sentido es ninguna diferencia clara.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.