Programma Les 208 van 246 · Module 20: Een getraind model goedkoop aanpassen
Module 20: Een getraind model goedkoop aanpassen

Nieuw leren, oud vergeten

Waarom dit ertoe doet Elk nuttig model wordt aangepast: aan de documenten van een bedrijf, een codeerstijl, een taal. De voor de hand liggende manier, blijven trainen op de nieuwe data, heeft een kostenpost die niemand ziet tot het te laat is: het model wordt slechter in wat het al wist.

De opgenomen GPT van de cursus leerde Engels uit de lestekst van de cursus. Zijn nieuwe taak: Python code, overgenomen uit de uitgewerkte oplossingen van de Python cursus. Voor de training scoort hij 1.70 op de apart gehouden Engelse tekst en 3.25 op de apart gehouden code (hij heeft nauwelijks code gezien).

Train elk gewicht op code voor 60 stappen van 8 vensters (het meeste dat in een les in de browser past) en meet beide opnieuw. Kijk eerst naar de scène: de twee verliezen, stap voor stap, voor deze volledige fine-tune en voor de goedkopere methode die je in dit module bouwt.

Voorspel eerst: na 60 stappen op code, blijft de Engelse loss ongeveer gelijk, of stijgt deze?

Jij bent aan de beurt

Zet my_guess op "same" of "rises". Vul before en after met adapt.losses(model) (English loss, code loss) rond adapt.train(model, code_train, steps=60, batch=8).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.