Kies 'n metode binne 'n begroting
Waarom dit saak maak Elke metode in hierdie module is die regte antwoord op 'n verskillende vraag. Om volgens mode te kies mors geld; om volgens metings te kies is die werk.
Wat jy gemeet het, op een plek:
- Volle fyn-aanpassing (200 stappe): kode 2.19, Engels 2.26. Skool alle 107,072 gewigte; 'n heeltemal nuwe kopie van die model om te stoor.
- LoRA rang 4: kode 2.27, Engels 2.04. Trein 8,192; stoor net daardie.
- Distillation vir 'n 16-wye student (3000 stappe): Engels 1.98 by ongeveer 1/8 van die wegte, teen 2.18 wat alleen opgelei is.
- Quantisation: 8 bits, 'n kwart van die grootte, geen verandering; 4 bits, 'n agtste, +0.13.
Kies vir elke situasie die metode wat die metings ondersteun.
Woorde en simbole in hierdie les
- fynesetting
- hou aan om 'n getoë model op nuwe data te train
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
- rang (r)
- hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
- distillation
- train 'n klein student om 'n groot onderwyser se volle waarskynlikhede te kopieer
- temperatuur (distillasie)
- deel telling voor die softmax sodat tweede keuses meer tel
- quantisation
- storing van wegte in minder bits deur hulle af te rond na 'n paar stappe
Vul choice met een van "full fine-tune", "LoRA", "distillation" of "quantisation" vir elke situasie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.