Costruire coppie di preferenze per la DPO
Il fine-tuning supervisionato ha bisogno di una risposta di riferimento per prompt. L'ottimizzazione sulle preferenze (DPO) ha bisogno di qualcosa di diverso e spesso più facile da raccogliere: per lo stesso prompt, una risposta scelta e una rifiutata, e impara a preferire la prima. Raramente hai direttamente quelle coppie, ma molto spesso hai delle classifiche, una persona (o un modello giudice) che mette in ordine diverse risposte candidate dalla migliore alla peggiore. Questa lezione trasforma le classifiche nei dati a coppie su cui si addestra davvero la DPO.
La regola è semplice: se i candidati sono elencati dal migliore, allora per ogni coppia in cui uno sta sopra l'altro, quello più in alto è chosen e quello più in basso è rejected. Una classifica di n candidati dà n*(n-1)/2 coppie di preferenze, ogni combinazione prima-contro-dopo:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsCostruisci to_preference_pairs(prompt, ranked) che restituisce una lista di dict {"prompt", "chosen", "rejected"}, uno per ogni coppia di indici i < j in ranked (quindi ranked[i] è scelto rispetto a ranked[j]), in quell'ordine. Meno di due candidati danno una lista vuota (nessuna preferenza da esprimere). Lo stesso prompt viaggia su ogni coppia così l'addestratore conosce il contesto. Premi Run per espandere una classifica in coppie di addestramento.
Scrivi to_preference_pairs(prompt, ranked) dove ranked è una lista di risposte candidate ordinate dalla migliore. Restituisci una lista di {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} per ogni i < j (la scelta sta sopra la rifiutata), in ordine crescente di (i, j). Una lista con meno di due candidati restituisce [].
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.