पाठ्यक्रम 246 में से पाठ 211 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

कितना पतला काफ़ी है? (rank)

यह क्यों मायने रखता है Rank LoRA की एक असली setting है। बहुत पतला और यह नया काम नहीं सीख सकता; किसी बिंदु के बाद, ज़्यादा rank लगभग कुछ नहीं ख़रीदता। वह बिंदु कहाँ है इसका अनुमान उसके लिए भुगतान करने से पहले लगाने लायक है।

कोर्स ने LoRA को code पर ranks 1 से 64 पर, और पूरी fine-tuning, हर एक 3 seeds, 200 steps train किया (adapt.recorded())। हर row में rank, train होने लायक weights, code loss (नया) और English loss (पुराना) है।

Call the Curve

उन्हें पढ़ने से पहले, ranks 1, 4, 16 और 64 पर code loss का अनुमान लगाएँ। लंगर: training से पहले 3.25; पूरी fine-tuning लगभग 2.19।

इस पाठ के शब्द और चिह्न
fine-tuning
एक प्रशिक्षित model को नए data पर train करते रहना
LoRA
low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
rank (r)
LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
आपकी बारी

my_guess (चार code losses) भरें, फिर by_rank: ranks 1, 4, 16, 64 और "full" के लिए, 3 seeds पर औसत code loss और औसत English loss। diminishing को True पर सेट करें अगर rank 16 से 64 जाना 1 से 4 जाने के लाभ के एक चौथाई से कम पाता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।