Programma Lezione 208 di 246 · Modulo 20: Adattare a poco prezzo un modello addestrato
Modulo 20: Adattare a poco prezzo un modello addestrato

Imparare il nuovo, dimenticare il vecchio

Perché è importante Ogni modello utile viene adattato: ai documenti di un'azienda, a uno stile di codice, a una lingua. Il modo ovvio, continuare ad addestrare sui dati nuovi, ha un costo che nessuno vede finché non è troppo tardi: il modello peggiora in ciò che sapeva.

Il GPT registrato del corso ha imparato l'inglese dal testo delle lezioni del corso. Il suo nuovo lavoro: codice Python, preso dalle soluzioni svolte del corso di Python. Prima dell'addestramento, ottiene 1.70 sull'inglese tenuto da parte e 3.25 sul codice tenuto da parte (il codice l'ha visto appena).

Addestra ogni peso sul codice per 60 passi da 8 finestre (il massimo che sta in una lezione nel browser) e misura di nuovo entrambi. Prima guarda la scena: le due loss, passo per passo, per questo fine-tuning completo e per il metodo più economico che costruirai in questo modulo.

Prima prevedi: dopo 60 passi sul codice, la loss sull'inglese resterà più o meno uguale, o salirà?

Tocca a te

Imposta my_guess su "same" o "rises". Riempi before e after con adapt.losses(model) (loss sull'inglese, loss sul codice) prima e dopo adapt.train(model, code_train, steps=60, batch=8).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.