Lehrplan Lektion 208 von 246 · Modul 20: Ein trainiertes Modell kostengünstig anpassen
Modul 20: Ein trainiertes Modell kostengünstig anpassen

Neues lernen, Altes vergessen

Warum das wichtig istJedes nützliche Modell wird angepasst: an die Dokumente eines Unternehmens, einen Codierungsstil, eine Sprache. Der offensichtliche Weg, das Training auf den neuen Daten fortzusetzen, hat eine Kostenstelle, die niemand sieht, bis es zu spät ist: das Modell wird schlechter in dem, was es bereits kann.

Das aufgezeichnete GPT des Kurses hat Englisch aus dem Unterrichtstext des Kurses gelernt. Sein neuer Job: Python code, entnommen aus den bearbeiteten Lösungen des Python Kurses. Vor dem Training erreicht es 1.70 bei gehaltenem Englisch und 3.25 bei gehaltenem code (es hat kaum code gesehen).

Trainiere jedes Gewicht auf Code für 60 steps von 8 windows (das Maximum, das in eine Lektion im Browser passt) und messe beide erneut. Beobachte die Szene zuerst: die zwei losses, schritt für schritt, für dieses vollständige fine-tune und für die günstigere Methode, die du in diesem Modul bauen wirst.

Zuerst vorhersagen: nach 60 Schritten auf Code, wird der English loss etwa gleich bleiben oder steigen?

Du bist dran

Set my_guess auf "same" oder "rises". Fülle before und after mit adapt.losses(model) (English loss, code loss) um adapt.train(model, code_train, steps=60, batch=8).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.