'n Groot onderwyser, 'n klein student (distillasie)
Waarom dit saak maak Klein modelle is goedkoop om te hardloop. Distillation (Hinton, Vinyals and Dean, 2015) wys 'n klein model aan om 'n groot een se volledige antwoorde te kopieer, nie net die regte antwoord nie: "waarskynlik e, dalk a, beslis nie z". Daardie sagte antwoorde dra meer inligting per voorbeeld as die teks alleen.
Die student: 'n 16-wye GPT (ongeveer 8,000 wegte). Die onderwyser: die 64-wye GPT. Die verlies meng twee dele: helfte gewone cross-entropy met die teks, helfte cross-entropy met die onderwyser se waarskynlikhede, albei versag deur 'n temperatuur van 2 sodat die onderwyser se tweede keuses tel.
Die kursus het die student beide weë opgelei, 3 seeds, en die gehoue Engelse verlies by 300, 1000 en 3000 stappe aangeteken.
Voorspel eerste: by 300 stappe, wen die opgelei student die een wat alleen opgelei is? En by 3000?
Woorde en simbole in hierdie les
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
- distillation
- train 'n klein student om 'n groot onderwyser se volle waarskynlikhede te kopieer
- temperatuur (distillasie)
- deel telling voor die softmax sodat tweede keuses meer tel
Stel guess vir 300 en 3000 stappe op as "taught wins", "alone wins" of "no clear difference". Vul dan gap in: vir elk van 300, 1000 en 3000 stappe, bereken die gemiddelde van alone minus die gemiddelde van taught (positief beteken distillasie het gehelp), en stel verdict daaruit in met die reël: 'n gaping onder 0.03 in enige rigting is geen duidelike verskil nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.