पाठ्यक्रम 250 में से पाठ 202 · Fine-tuning, अवधारणा के स्तर पर
Fine-tuning, अवधारणा के स्तर पर

DPO preference जोड़े बनाना

Supervised fine-tuning को हर prompt का एक सुनहरा जवाब चाहिए। Preference tuning (DPO) को कुछ अलग चाहिए जो अक्सर इकट्ठा करना आसान है: एक ही prompt के लिए एक चुना जवाब और एक अस्वीकार जवाब, और यह पहले को पसंद करना सीखता है। आपके पास वे जोड़े शायद ही सीधे होते हैं, पर बहुत बार आपके पास rankings होती हैं, एक इंसान (या judge मॉडल) कई उम्मीदवार जवाबों को सबसे अच्छे से सबसे बुरे तक क्रम देता है। यह पाठ rankings को उस जोड़ीदार डेटा में बदलता है जिस पर DPO असल में train करता है।

नियम सादा है: अगर उम्मीदवार सबसे-अच्छा-पहले क्रम में हैं, तो हर उस जोड़े के लिए जहाँ एक दूसरे से ऊपर है, ऊपर वाला chosen है और नीचे वाला rejected। n उम्मीदवारों की क्रमबद्ध सूची n*(n-1)/2 preference जोड़े देती है, हर पहले-बनाम-बाद वाला मेल:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

to_preference_pairs(prompt, ranked) बनाएँ जो {"prompt", "chosen", "rejected"} dicts की सूची लौटाए, ranked में हर index जोड़े i < j का एक (यानी ranked[i] को ranked[j] पर चुना गया), उसी क्रम में। दो से कम उम्मीदवार ख़ाली सूची देते हैं (बताने के लिए कोई पसंद नहीं)। वही prompt हर जोड़े के साथ जाता है ताकि trainer संदर्भ जाने। एक ranking को training जोड़ों में फैलाने के लिए Run दबाएँ।

आपकी बारी

to_preference_pairs(prompt, ranked) लिखें जहाँ ranked सबसे-अच्छा-पहले क्रम में उम्मीदवार जवाबों की सूची है। हर i < j के लिए (chosen, rejected से ऊपर है) बढ़ते (i, j) क्रम में {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} की सूची लौटाएँ। दो से कम उम्मीदवारों वाली सूची [] लौटाती है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।