GPT को अपने text पर fine-tune करें
यह क्यों मायने रखता है यह रोज़मर्रा का इस्तेमाल है: एक सामान्य model, आपका text, एक सस्ता adapter। परीक्षा यह है कि क्या इसने आपका text सीखा और बाकी रखा।
my_text में अपना text रखें: notes, एक निबंध, आपका लिखा code, कम से कम 5,000 अक्षर (default Python समाधानों का एक टुकड़ा है ताकि पाठ जैसा दिया वैसा चले)। जो अक्षर model ने कभी नहीं देखे वे हटा दिए जाते हैं। आख़िरी 20% test करने के लिए अलग रखा जाता है।
LoRA, rank 8, 8 windows के 60 steps के लिए train करें। पास तब जब आपके text का held-out हिस्सा base model से कम से कम 0.3 बेहतर अंक पाए, और English loss 0.5 से कम बढ़े। पैमाने के लिए, default text पर: LoRA English को लगभग 0.29 बढ़ाता है, पूरी fine-tuning लगभग 0.69, और दोनों text लगभग बराबर अच्छे से सीखते हैं।
इस पाठ के शब्द और चिह्न
- fine-tuning
- एक प्रशिक्षित model को नए data पर train करते रहना
- LoRA
- low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
- rank (r)
- LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
base_scores और tuned_scores भरें: LoRA model train करने से पहले और बाद (English loss, आपके text के held-out 20% पर loss)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।