Gate: een nieuwe taak met een budget (AI uit)
Waarom dit ertoe doetEcht adaptatiewerk heeft een doel, een Budget en iets wat je niet mag breken. Alle drie, tegelijk, alleen.
Gate regels: AI uit. Pas de opgenomen GPT aan naar Python code met maximaal 60 trainings stappen van elk 8 vensters. Doelen op een nieuwe run (nieuwe seed):
- held-out codeverlies maximaal 2.43 (de basis scoort 3.25);
- held-out English verlies ten hoogste 2.00 (de basis scoort 1.70);
Stel plan in: de methode "full" of "lora", de rank (voor LoRA, 1 tot 64), de steps en de learning rate. De check traint je plan één keer op een nieuwe seed.
Woorden en symbolen in deze les
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- rank (r)
- hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
Vul plan.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.