Verfyn die GPT op jou eie teks
Waarom dit saak maak Dit is die daaglikse gebruik: 'n algemene model, jou teks, 'n goedkoop adapter. Die toets is of dit jou teks geleer het en die res behou het.
Sit jou eie teks in my_text: notas, 'n opstel, kode wat jy geskryf het, ten minste 5,000 karakters (die standaard is 'n gedeelte van die Python oplossings sodat die les soos gegee loop). Karakters wat die model nog nooit gesien het, word weggelaat. Die laaste 20% word gereserveer om te toets.
Train LoRA, rank 8, vir 60 steps van 8 windows. Stop wanneer die gehoude deel van jou teks ten minste 0.3 beter tel as wat die base model gedoen het, en die English loss met minder as 0.5 gestyg het. Vir skaal, op die standaard teks: LoRA verhoog English met ongeveer 0.29, full fine-tuning met ongeveer 0.69, en albei leer die teks ongeveer gelyk goed.
Woorde en simbole in hierdie les
- fynesetting
- hou aan om 'n getoë model op nuwe data te train
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
- rang (r)
- hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Vul base_scores en tuned_scores in: (verlies in Engels, verlies op die 20% van jou teks wat gehou is) voor en na die opleiding van die LoRA model.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.