पाठ्यक्रम 246 में से पाठ 217 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

Gate: एक budget पर एक नया काम (AI बंद)

यह क्यों मायने रखता है असली ढालने के काम में एक लक्ष्य, एक budget और कुछ होता है जिसे आपको नहीं तोड़ना। तीनों, एक साथ, अकेले।

Gate नियम: AI tutor बंद। दर्ज GPT को Python code पर ढालें, अधिक से अधिक 8 windows के 60 training steps के साथ। एक नए run (नया seed) पर लक्ष्य:

  • held-out code loss अधिक से अधिक 2.43 (base 3.25 पाता है);
  • held-out English loss अधिक से अधिक 2.00 (base 1.70 पाता है);

plan सेट करें: method "full" या "lora", rank (LoRA के लिए, 1 से 64), steps और learning rate। जाँच आपकी योजना को एक नए seed पर एक बार train करती है।

इस पाठ के शब्द और चिह्न
LoRA
low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
rank (r)
LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
आपकी बारी

plan भरें।

AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।