Kurrikulum Leson 212 van 246 · Module 20: Aanpas van 'n getoë model goedkoop
Module 20: Aanpas van 'n getoë model goedkoop

Verfyn die GPT op jou eie teks

Waarom dit saak maak Dit is die daaglikse gebruik: 'n algemene model, jou teks, 'n goedkoop adapter. Die toets is of dit jou teks geleer het en die res behou het.

Sit jou eie teks in my_text: notas, 'n opstel, kode wat jy geskryf het, ten minste 5,000 karakters (die standaard is 'n gedeelte van die Python oplossings sodat die les soos gegee loop). Karakters wat die model nog nooit gesien het, word weggelaat. Die laaste 20% word gereserveer om te toets.

Train LoRA, rank 8, vir 60 steps van 8 windows. Stop wanneer die gehoude deel van jou teks ten minste 0.3 beter tel as wat die base model gedoen het, en die English loss met minder as 0.5 gestyg het. Vir skaal, op die standaard teks: LoRA verhoog English met ongeveer 0.29, full fine-tuning met ongeveer 0.69, en albei leer die teks ongeveer gelyk goed.

Woorde en simbole in hierdie les
fynesetting
hou aan om 'n getoë model op nuwe data te train
LoRA
low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
rang (r)
hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Jou beurt

Vul base_scores en tuned_scores in: (verlies in Engels, verlies op die 20% van jou teks wat gehou is) voor en na die opleiding van die LoRA model.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.