DPO preference जोड़े बनाना
Supervised fine-tuning को हर prompt का एक सुनहरा जवाब चाहिए। Preference tuning (DPO) को कुछ अलग चाहिए जो अक्सर इकट्ठा करना आसान है: एक ही prompt के लिए एक चुना जवाब और एक अस्वीकार जवाब, और यह पहले को पसंद करना सीखता है। आपके पास वे जोड़े शायद ही सीधे होते हैं, पर बहुत बार आपके पास rankings होती हैं, एक इंसान (या judge मॉडल) कई उम्मीदवार जवाबों को सबसे अच्छे से सबसे बुरे तक क्रम देता है। यह पाठ rankings को उस जोड़ीदार डेटा में बदलता है जिस पर DPO असल में train करता है।
नियम सादा है: अगर उम्मीदवार सबसे-अच्छा-पहले क्रम में हैं, तो हर उस जोड़े के लिए जहाँ एक दूसरे से ऊपर है, ऊपर वाला chosen है और नीचे वाला rejected। n उम्मीदवारों की क्रमबद्ध सूची n*(n-1)/2 preference जोड़े देती है, हर पहले-बनाम-बाद वाला मेल:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsto_preference_pairs(prompt, ranked) बनाएँ जो {"prompt", "chosen", "rejected"} dicts की सूची लौटाए, ranked में हर index जोड़े i < j का एक (यानी ranked[i] को ranked[j] पर चुना गया), उसी क्रम में। दो से कम उम्मीदवार ख़ाली सूची देते हैं (बताने के लिए कोई पसंद नहीं)। वही prompt हर जोड़े के साथ जाता है ताकि trainer संदर्भ जाने। एक ranking को training जोड़ों में फैलाने के लिए Run दबाएँ।
to_preference_pairs(prompt, ranked) लिखें जहाँ ranked सबसे-अच्छा-पहले क्रम में उम्मीदवार जवाबों की सूची है। हर i < j के लिए (chosen, rejected से ऊपर है) बढ़ते (i, j) क्रम में {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} की सूची लौटाएँ। दो से कम उम्मीदवारों वाली सूची [] लौटाती है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।