पाठ्यक्रम 250 में से पाठ 201 · Fine-tuning, अवधारणा के स्तर पर
Fine-tuning, अवधारणा के स्तर पर

Instruction-tuning dataset चुनना

आइए इस बारे में ईमानदार रहें कि यह मॉड्यूल क्या कर सकता है और क्या नहीं। किसी मॉडल को fine-tune करना GPU का काम है। आप एक base मॉडल लेते हैं, उसे हज़ारों उदाहरण जोड़े दिखाते हैं, और उसके weights को खिसकाने के लिए gradient descent चलाते हैं। इसके लिए training loop, GPU, और घंटों की गणना चाहिए। इनमें से कुछ भी इस ब्राउज़र sandbox में नहीं चलता (कोई torch नहीं, कोई GPU नहीं, कोई network नहीं)। इसलिए हम कुछ और होने का दिखावा नहीं करेंगे।

हम वह हिस्सा ज़रूर सिखाएँगे जिस पर एक AI engineer असल में अपना ज़्यादातर समय लगाता है, और जो तय करता है कि महँगा GPU run कुछ अच्छा बनाएगा या नहीं: dataset। इस क्षेत्र के एक मशहूर नतीजे (LIMA, "Less Is More for Alignment") ने दिखाया कि लगभग 1,000 ध्यान से चुने उदाहरण शोर वाले उदाहरणों के कहीं बड़े ढेर को हरा देते हैं। कचरा अंदर, कचरा बाहर यहाँ नारा नहीं, पूरा खेल है। आप वह dataset बनाते हैं जो GPU को खिलाता है।

एक instruction-tuning record बस एक छोटी dict है। आम आकार है एक instruction (उपयोगकर्ता क्या पूछता है), एक वैकल्पिक input (अतिरिक्त संदर्भ), और सुनहरा output (एक अच्छे मॉडल को क्या जवाब देना चाहिए):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

इसमें से कुछ भी trainer तक पहुँचने से पहले आपको इसे साफ़ करना होगा। असली exports ऐसी पंक्तियों से भरे होते हैं जिनमें output ग़ायब है, instruction ख़ाली है जो बस ख़ाली जगह है, स्ट्रिंग की जगह ग़लत प्रकार है, और ठीक-ठीक दोहराव हैं जो गणना बर्बाद करते हैं और मॉडल को दोहराए उदाहरणों की ओर झुका देते हैं। आपका काम एक निश्चित फ़िल्टर है।

दो फ़ंक्शन बनाएँ।

  • validate_pair(example) -> True सिर्फ़ तब जब example एक dict हो जिसके instruction और output दोनों ऐसी स्ट्रिंग हों जो .strip() के बाद ख़ाली न हों। बाक़ी कुछ भी (ग़ायब कुंजी, ग़ैर-स्ट्रिंग, ख़ाली या सिर्फ़ ख़ाली जगह) False लौटाता है। ग़ायब input ठीक है, वह वैकल्पिक है।
  • clean_dataset(rows) -> हर अमान्य जोड़ा हटाएँ, फिर ठीक-ठीक दोहराव हटाएँ (strip करने के बाद वही instruction, वही input, वही output), पहली बार वाला रखते हुए। {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} लौटाएँ।

एक अमान्य पंक्ति dropped_invalid गिनी जाती है; मान्य-पर-दोहराई पंक्ति dropped_duplicate गिनी जाती है। गिनतियाँ मेल खानी चाहिए: input == kept + dropped_invalid + dropped_duplicate।

एक असली pipeline में साफ़ पंक्तियाँ फिर tokenize होकर trainer तक stream होतीं। वह क़दम यहाँ सिर्फ़ अवधारणा है, पर यह जानने लायक है कि आपका dataset किस परिदृश्य को खिलाता है। Full fine-tuning मॉडल का हर weight बदलता है: सबसे सटीक, सबसे महँगा, और यह मॉडल की एक पूरी नई कॉपी बनाता है। LoRA / PEFT (parameter-efficient fine-tuning) base मॉडल को जमा देता है और सिर्फ़ ऊपर बैठे छोटे low-rank adapters train करता है, इसलिए run एक GPU पर आ जाता है और आप एक साझा base पर adapters बदल सकते हैं। और सादी supervised fine-tuning से आगे preference tuning है, जो सुनहरे जवाबों के बजाय इंसानी पसंद से लहजा और सुरक्षा साधता है: DPO (Direct Preference Optimization) सीधे चुने-बनाम-अस्वीकार जवाब जोड़ों पर train करता है और पुराने RLHF/PPO reward-model loop का सादा, ज़्यादा स्थिर विकल्प है। एक छोटे बिखरे dataset को साफ़ करने और आँकड़े print करने के लिए Run दबाएँ।

आपकी बारी

validate_pair(example) लिखें जो True सिर्फ़ तब लौटाए जब example एक dict हो जिसके instruction और output दोनों (.strip() के बाद) ख़ाली न होने वाली स्ट्रिंग हों; बाक़ी सब False लौटाता है (ग़ायब input की अनुमति है)। फिर clean_dataset(rows) लिखें जो अमान्य जोड़े और ठीक-ठीक दोहराव (strip किए वही instruction/input/output, पहला रखते हुए) हटाए, और {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} लौटाए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।