Kurrikulum Leson 216 van 246 · Module 20: Aanpas van 'n getoë model goedkoop
Module 20: Aanpas van 'n getoë model goedkoop

Kies 'n metode binne 'n begroting

Waarom dit saak maak Elke metode in hierdie module is die regte antwoord op 'n verskillende vraag. Om volgens mode te kies mors geld; om volgens metings te kies is die werk.

Wat jy gemeet het, op een plek:

  • Volle fyn-aanpassing (200 stappe): kode 2.19, Engels 2.26. Skool alle 107,072 gewigte; 'n heeltemal nuwe kopie van die model om te stoor.
  • LoRA rang 4: kode 2.27, Engels 2.04. Trein 8,192; stoor net daardie.
  • Distillation vir 'n 16-wye student (3000 stappe): Engels 1.98 by ongeveer 1/8 van die wegte, teen 2.18 wat alleen opgelei is.
  • Quantisation: 8 bits, 'n kwart van die grootte, geen verandering; 4 bits, 'n agtste, +0.13.

Kies vir elke situasie die metode wat die metings ondersteun.

Woorde en simbole in hierdie les
fynesetting
hou aan om 'n getoë model op nuwe data te train
LoRA
low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
rang (r)
hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
distillation
train 'n klein student om 'n groot onderwyser se volle waarskynlikhede te kopieer
temperatuur (distillasie)
deel telling voor die softmax sodat tweede keuses meer tel
quantisation
storing van wegte in minder bits deur hulle af te rond na 'n paar stappe
Jou beurt

Vul choice met een van "full fine-tune", "LoRA", "distillation" of "quantisation" vir elke situasie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.