Programma Les 213 van 246 · Module 20: Een getraind model goedkoop aanpassen
Module 20: Een getraind model goedkoop aanpassen

Een grote leraar, een kleine student (distillatie)

Waarom dit ertoe doet Kleine modellen zijn goedkoop om te draaien. Distillation (Hinton, Vinyals and Dean, 2015) traint een klein model om de volledige antwoorden van een groot model te kopiëren, niet alleen het juiste antwoord: "waarschijnlijk e, misschien a, zeker niet z". Die zachte antwoorden bevatten meer informatie per voorbeeld dan de tekst alleen.

De student: een 16-brede GPT (ongeveer 8,000 weights). De leraar: de 64-brede GPT. De loss mixt twee delen: de helft gewone cross-entropy met de tekst, de helft cross-entropy met de kansen van de leraar, beide verzacht door een temperatuur van 2 zodat de tweede keuzes van de leraar meetellen.

De cursus trainde de student beide manieren, 3 seeds, en registreerde de held-out English loss bij 300, 1000 en 3000 steps.

Voorspel eerst: bij 300 stappen, verslaat de geleerde student degene die alleen is getraind? En bij 3000?

Woorden en symbolen in deze les
LoRA
low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
distillation
train een kleine student om de volledige waarschijnlijkheden van een grote leraar te kopiëren
temperatuur (destillatie)
scores delen voor de softmax zodat tweede keuzes meer tellen
Jij bent aan de beurt

Zet guess voor 300 en 3000 stappen op "taught wins", "alone wins" of "no clear difference". Vul daarna gap in: voor elk van 300, 1000 en 3000 stappen, bereken het gemiddelde van alone min het gemiddelde van taught (positief betekent dat distillatie hielp), en stel verdict daaruit in met de regel: een gat onder 0.03 aan beide kanten is no clear difference.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.