Cancello: un compito nuovo con un budget (IA spenta)
Perché è importante Il vero lavoro di adattamento ha un obiettivo, un budget e qualcosa che non devi rompere. Tutti e tre, insieme, da solo.
Regole del cancello: tutor IA spento. Adatta il GPT registrato al codice Python con al massimo 60 passi di addestramento da 8 finestre ciascuno. Obiettivi su un'esecuzione nuova (seed nuovo):
- loss sul codice tenuto da parte al massimo 2.43 (il base ottiene 3.25);
- loss sull'inglese tenuto da parte al massimo 2.00 (il base ottiene 1.70);
Imposta plan: metodo "full" o "lora", il rango (per LoRA, da 1 a 64), i passi e il learning rate. Il controllo addestra il tuo piano una volta su un seed nuovo.
Parole e simboli di questa lezione
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
- rango (r)
- quanto sono sottili le due matrici di LoRA: (d_in + d_out) × r pesi addestrabili per matrice
Riempi plan.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.