Conteúdo do curso Lição 213 de 246 · Módulo 20: Adaptando um modelo treinado de forma barata
Módulo 20: Adaptando um modelo treinado de forma barata

Um grande professor, um pequeno aluno (distilação)

Por que isso importa Modelos pequenos são baratos para rodar. Distillation (Hinton, Vinyals and Dean, 2015) treina um modelo pequeno para copiar as respostas completas de um grande, não apenas a resposta certa: "provavelmente e, talvez a, certamente não z". Essas respostas suaves carregam mais informação por exemplo do que apenas o texto.

O aluno: um GPT de 16 de largura (cerca de 8,000 pesos). O professor: o GPT de 64 de largura. A loss mistura duas partes: metade cross-entropy comum com o texto, metade cross-entropy com as probabilidades do professor, ambas suavizadas por uma temperature de 2 para que as segundas escolhas do professor contem.

O curso treinou o aluno das duas formas, 3 seeds, e registrou a English loss segurada em 300, 1000 e 3000 steps.

Preveja primeiro: em 300 steps, o aluno ensinado vence o treinado sozinho? E em 3000?

Palavras e símbolos nesta lição
LoRA
adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
distillation
treinando um pequeno aluno para copiar as probabilidades totais de um grande professor
temperatura (destilação)
dividindo as pontuações antes do softmax para que as segundas escolhas contem mais
Sua vez

Defina guess para 300 e 3000 passos como "taught wins", "alone wins" ou "no clear difference". Depois preencha gap: para cada um de 300, 1000 e 3000 passos, a média sozinho menos a média ensinado (positivo significa que a destilação ajudou), e defina verdict a partir disso com a regra: uma diferença menor que 0.03 para qualquer lado é no clear difference.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.