Programma Les 217 van 246 · Module 20: Een getraind model goedkoop aanpassen
Module 20: Een getraind model goedkoop aanpassen

Gate: een nieuwe taak met een budget (AI uit)

Waarom dit ertoe doetEcht adaptatiewerk heeft een doel, een Budget en iets wat je niet mag breken. Alle drie, tegelijk, alleen.

Gate regels: AI uit. Pas de opgenomen GPT aan naar Python code met maximaal 60 trainings stappen van elk 8 vensters. Doelen op een nieuwe run (nieuwe seed):

  • held-out codeverlies maximaal 2.43 (de basis scoort 3.25);
  • held-out English verlies ten hoogste 2.00 (de basis scoort 1.70);

Stel plan in: de methode "full" of "lora", de rank (voor LoRA, 1 tot 64), de steps en de learning rate. De check traint je plan één keer op een nieuwe seed.

Woorden en symbolen in deze les
LoRA
low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
rank (r)
hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
Jij bent aan de beurt

Vul plan.

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.