Imparare il nuovo, dimenticare il vecchio
Perché è importante Ogni modello utile viene adattato: ai documenti di un'azienda, a uno stile di codice, a una lingua. Il modo ovvio, continuare ad addestrare sui dati nuovi, ha un costo che nessuno vede finché non è troppo tardi: il modello peggiora in ciò che sapeva.
Il GPT registrato del corso ha imparato l'inglese dal testo delle lezioni del corso. Il suo nuovo lavoro: codice Python, preso dalle soluzioni svolte del corso di Python. Prima dell'addestramento, ottiene 1.70 sull'inglese tenuto da parte e 3.25 sul codice tenuto da parte (il codice l'ha visto appena).
Addestra ogni peso sul codice per 60 passi da 8 finestre (il massimo che sta in una lezione nel browser) e misura di nuovo entrambi. Prima guarda la scena: le due loss, passo per passo, per questo fine-tuning completo e per il metodo più economico che costruirai in questo modulo.
Prima prevedi: dopo 60 passi sul codice, la loss sull'inglese resterà più o meno uguale, o salirà?
Imposta my_guess su "same" o "rises". Riempi before e after con adapt.losses(model) (loss sull'inglese, loss sul codice) prima e dopo adapt.train(model, code_train, steps=60, batch=8).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.