पाठ्यक्रम 246 में से पाठ 216 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

एक budget में एक तरीका चुनना

यह क्यों मायने रखता है इस module का हर तरीका एक अलग सवाल का सही जवाब है। फ़ैशन से चुनना पैसा बर्बाद करता है; मापों से चुनना ही काम है।

आपने जो मापा, एक जगह:

  • पूरी fine-tuning (200 steps): code 2.19, English 2.26। सारे 107,072 weights train करती है; रखने के लिए model की एक पूरी नई copy।
  • LoRA rank 4: code 2.27, English 2.04। 8,192 train करता है; बस वही रखता है।
  • Distillation एक 16-चौड़े छात्र तक (3000 steps): weights के लगभग 1/8 पर English 1.98, अकेले train किए के 2.18 के मुक़ाबले।
  • Quantisation: 8 bits, एक चौथाई आकार, कोई बदलाव नहीं; 4 bits, एक आठवाँ, +0.13।

हर स्थिति के लिए, वह तरीका चुनें जिसका माप समर्थन करते हैं।

इस पाठ के शब्द और चिह्न
fine-tuning
एक प्रशिक्षित model को नए data पर train करते रहना
LoRA
low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
rank (r)
LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
distillation
एक छोटे छात्र को एक बड़े शिक्षक की पूरी probabilities copy करना सिखाना
temperature (distillation)
softmax से पहले अंकों को भाग देना ताकि दूसरी पसंदें ज़्यादा गिनें
quantisation
weights को कुछ steps तक गोल करके कम bits में रखना
आपकी बारी

हर स्थिति के लिए choice को "full fine-tune", "LoRA", "distillation" या "quantisation" में से एक से भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।