Um grande professor, um pequeno aluno (distilação)
Por que isso importa Modelos pequenos são baratos para rodar. Distillation (Hinton, Vinyals and Dean, 2015) treina um modelo pequeno para copiar as respostas completas de um grande, não apenas a resposta certa: "provavelmente e, talvez a, certamente não z". Essas respostas suaves carregam mais informação por exemplo do que apenas o texto.
O aluno: um GPT de 16 de largura (cerca de 8,000 pesos). O professor: o GPT de 64 de largura. A loss mistura duas partes: metade cross-entropy comum com o texto, metade cross-entropy com as probabilidades do professor, ambas suavizadas por uma temperature de 2 para que as segundas escolhas do professor contem.
O curso treinou o aluno das duas formas, 3 seeds, e registrou a English loss segurada em 300, 1000 e 3000 steps.
Preveja primeiro: em 300 steps, o aluno ensinado vence o treinado sozinho? E em 3000?
Palavras e símbolos nesta lição
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
- distillation
- treinando um pequeno aluno para copiar as probabilidades totais de um grande professor
- temperatura (destilação)
- dividindo as pontuações antes do softmax para que as segundas escolhas contem mais
Defina guess para 300 e 3000 passos como "taught wins", "alone wins" ou "no clear difference". Depois preencha gap: para cada um de 300, 1000 e 3000 passos, a média sozinho menos a média ensinado (positivo significa que a destilação ajudou), e defina verdict a partir disso com a regra: uma diferença menor que 0.03 para qualquer lado é no clear difference.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.