Een grote leraar, een kleine student (distillatie)
Waarom dit ertoe doet Kleine modellen zijn goedkoop om te draaien. Distillation (Hinton, Vinyals and Dean, 2015) traint een klein model om de volledige antwoorden van een groot model te kopiëren, niet alleen het juiste antwoord: "waarschijnlijk e, misschien a, zeker niet z". Die zachte antwoorden bevatten meer informatie per voorbeeld dan de tekst alleen.
De student: een 16-brede GPT (ongeveer 8,000 weights). De leraar: de 64-brede GPT. De loss mixt twee delen: de helft gewone cross-entropy met de tekst, de helft cross-entropy met de kansen van de leraar, beide verzacht door een temperatuur van 2 zodat de tweede keuzes van de leraar meetellen.
De cursus trainde de student beide manieren, 3 seeds, en registreerde de held-out English loss bij 300, 1000 en 3000 steps.
Voorspel eerst: bij 300 stappen, verslaat de geleerde student degene die alleen is getraind? En bij 3000?
Woorden en symbolen in deze les
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- distillation
- train een kleine student om de volledige waarschijnlijkheden van een grote leraar te kopiëren
- temperatuur (destillatie)
- scores delen voor de softmax zodat tweede keuzes meer tellen
Zet guess voor 300 en 3000 stappen op "taught wins", "alone wins" of "no clear difference". Vul daarna gap in: voor elk van 300, 1000 en 3000 stappen, bereken het gemiddelde van alone min het gemiddelde van taught (positief betekent dat distillatie hielp), en stel verdict daaruit in met de regel: een gat onder 0.03 aan beide kanten is no clear difference.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.