पाठ्यक्रम 246 में से पाठ 215 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

Preferences सिखाना (DPO)

यह क्यों मायने रखता है Chat models बस text पर train नहीं होते; वे preferences पर tune होते हैं: दो जवाबों में से, लोगों को कौन-सा ज़्यादा पसंद आया। DPO (Rafailov et al. 2023) यह सीधे जोड़ों से करता है, एक loss के साथ और बिना अलग reward model के। इसे ज़रूरत से ज़्यादा करना भी आसान है।

यहाँ preference एक ऐसी शैली है जो base model कभी इस्तेमाल नहीं करता: शब्दों को underscores से जोड़ना ("snake_case talk")। हर जोड़े में पाठ text से एक 20-अक्षर prompt, असली अगले 10 अक्षर (rejected) और वही 10 हर space को underscore लिखकर (chosen) हैं।

एक जोड़े का DPO loss तुलना करता है कि tune किया model chosen जवाब को reference model की तुलना में कितना ज़्यादा संभावित बनाता है, rejected वाले के लिए वही के मुक़ाबले:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta तय करता है कि tune किया model reference के पास कितनी कसकर रखा जाता है। बाद में दो माप: 60 नए prompts पर underscores के रूप में लिखे शब्द-अंतरालों का हिस्सा (शैली), और held-out English पर बस अक्षर गिनते loss, अंतराल नहीं (नुक़सान)।

इस पाठ के शब्द और चिह्न
LoRA
low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
rank (r)
LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
DPO
direct preference optimisation: एक बेहतर और एक बदतर जवाब के जोड़ों से tune करना
reference model
वह जमा model जिसके मुक़ाबले DPO हर बदलाव मापता है
beta (DPO)
tune किया model reference के पास कितनी कसकर रखा जाता है
आपकी बारी

steps (अधिक से अधिक 60) ऐसे चुनें कि शैली सीखी जाए (underscore हिस्सा कम से कम 0.8) जबकि बस-अक्षर loss 2.6 से नीचे रहे (base model लगभग 1.94 पाता है)। कुछ मान आज़माएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।