एक budget में एक तरीका चुनना
यह क्यों मायने रखता है इस module का हर तरीका एक अलग सवाल का सही जवाब है। फ़ैशन से चुनना पैसा बर्बाद करता है; मापों से चुनना ही काम है।
आपने जो मापा, एक जगह:
- पूरी fine-tuning (200 steps): code 2.19, English 2.26। सारे 107,072 weights train करती है; रखने के लिए model की एक पूरी नई copy।
- LoRA rank 4: code 2.27, English 2.04। 8,192 train करता है; बस वही रखता है।
- Distillation एक 16-चौड़े छात्र तक (3000 steps): weights के लगभग 1/8 पर English 1.98, अकेले train किए के 2.18 के मुक़ाबले।
- Quantisation: 8 bits, एक चौथाई आकार, कोई बदलाव नहीं; 4 bits, एक आठवाँ, +0.13।
हर स्थिति के लिए, वह तरीका चुनें जिसका माप समर्थन करते हैं।
इस पाठ के शब्द और चिह्न
- fine-tuning
- एक प्रशिक्षित model को नए data पर train करते रहना
- LoRA
- low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
- rank (r)
- LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
- distillation
- एक छोटे छात्र को एक बड़े शिक्षक की पूरी probabilities copy करना सिखाना
- temperature (distillation)
- softmax से पहले अंकों को भाग देना ताकि दूसरी पसंदें ज़्यादा गिनें
- quantisation
- weights को कुछ steps तक गोल करके कम bits में रखना
हर स्थिति के लिए choice को "full fine-tune", "LoRA", "distillation" या "quantisation" में से एक से भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।