Programma Lezione 202 di 250 · Il fine-tuning, a livello concettuale
Il fine-tuning, a livello concettuale

Costruire coppie di preferenze per la DPO

Il fine-tuning supervisionato ha bisogno di una risposta di riferimento per prompt. L'ottimizzazione sulle preferenze (DPO) ha bisogno di qualcosa di diverso e spesso più facile da raccogliere: per lo stesso prompt, una risposta scelta e una rifiutata, e impara a preferire la prima. Raramente hai direttamente quelle coppie, ma molto spesso hai delle classifiche, una persona (o un modello giudice) che mette in ordine diverse risposte candidate dalla migliore alla peggiore. Questa lezione trasforma le classifiche nei dati a coppie su cui si addestra davvero la DPO.

La regola è semplice: se i candidati sono elencati dal migliore, allora per ogni coppia in cui uno sta sopra l'altro, quello più in alto è chosen e quello più in basso è rejected. Una classifica di n candidati dà n*(n-1)/2 coppie di preferenze, ogni combinazione prima-contro-dopo:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Costruisci to_preference_pairs(prompt, ranked) che restituisce una lista di dict {"prompt", "chosen", "rejected"}, uno per ogni coppia di indici i < j in ranked (quindi ranked[i] è scelto rispetto a ranked[j]), in quell'ordine. Meno di due candidati danno una lista vuota (nessuna preferenza da esprimere). Lo stesso prompt viaggia su ogni coppia così l'addestratore conosce il contesto. Premi Run per espandere una classifica in coppie di addestramento.

Tocca a te

Scrivi to_preference_pairs(prompt, ranked) dove ranked è una lista di risposte candidate ordinate dalla migliore. Restituisci una lista di {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} per ogni i < j (la scelta sta sopra la rifiutata), in ordine crescente di (i, j). Una lista con meno di due candidati restituisce [].

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.