Temario Lección 213 de 246 · Módulo 20: Adaptar barato un modelo entrenado
Módulo 20: Adaptar barato un modelo entrenado

Un profesor grande, un alumno pequeño (destilación)

Por qué importa Los modelos pequeños son baratos de ejecutar. La destilación (Hinton, Vinyals y Dean, 2015) entrena un modelo pequeño para que copie las respuestas completas de uno grande, no solo la respuesta correcta: "probablemente e, quizá a, seguro que z no". Esas respuestas suaves llevan más información por ejemplo que el texto solo.

El alumno: un GPT de anchura 16 (unos 8,000 pesos). El profesor: el GPT de anchura 64. La pérdida mezcla dos partes: la mitad entropía cruzada normal con el texto, la mitad entropía cruzada con las probabilidades del profesor, las dos suavizadas con una temperatura de 2 para que cuenten las segundas opciones del profesor.

El curso entrenó al alumno de las dos maneras, 3 semillas, y grabó la pérdida con inglés reservado a los 300, 1000 y 3000 pasos.

Predice primero: a los 300 pasos, ¿el alumno con profesor le gana al entrenado solo? ¿Y a los 3000?

Palabras y símbolos de esta lección
LoRA
adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
destilación
entrenar un alumno pequeño para que copie las probabilidades completas de un profesor grande
temperatura (destilación)
dividir las puntuaciones antes del softmax para que las segundas opciones cuenten más
Tu turno

Pon guess para 300 y 3000 pasos a "taught wins" (gana el de profesor), "alone wins" (gana el solo) o "no clear difference" (ninguna diferencia clara). Luego rellena gap: para cada uno de 300, 1000 y 3000 pasos, la media del solo menos la media del de profesor (positivo significa que la destilación ayudó), y pon verdict a partir de ella con la regla: una diferencia de menos de 0.03 en cualquier sentido es ninguna diferencia clara.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.