Kurrikulum Leson 217 van 246 · Module 20: Aanpas van 'n getoë model goedkoop
Module 20: Aanpas van 'n getoë model goedkoop

Poort: 'n nuwe taak op 'n begroting (AI af)

Waarom dit saak maak Regte aanpassingswerk het 'n doel, 'n begroting en iets wat jy nie mag breek nie. Al drie, gelyktydig, alleen.

Gate reëls: KI-tutor af. Pas die opgeneemde GPT aan by Python-kode met maksimum 60 opleidingsstappe van 8 vensters elk. Teikens op 'n vars hardloop (nuwe saad):

  • held-out kodeverlies is ten minste 2.43 (die basis is 3.25);
  • held-out Engels verlies hoogstens 2.00 (die basis tel 1.70);

Stel plan in: metode "full" of "lora", die rang (vir LoRA, 1 tot 64), die stappe en die learning rate. Die kontrole doen jou plan een keer oor op 'n nuwe seed.

Woorde en simbole in hierdie les
LoRA
low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
rang (r)
hoe dun LoRA's twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Jou beurt

Vul plan.

AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.