कितना पतला काफ़ी है? (rank)
यह क्यों मायने रखता है Rank LoRA की एक असली setting है। बहुत पतला और यह नया काम नहीं सीख सकता; किसी बिंदु के बाद, ज़्यादा rank लगभग कुछ नहीं ख़रीदता। वह बिंदु कहाँ है इसका अनुमान उसके लिए भुगतान करने से पहले लगाने लायक है।
कोर्स ने LoRA को code पर ranks 1 से 64 पर, और पूरी fine-tuning, हर एक 3 seeds, 200 steps train किया (adapt.recorded())। हर row में rank, train होने लायक weights, code loss (नया) और English loss (पुराना) है।
Call the Curve
उन्हें पढ़ने से पहले, ranks 1, 4, 16 और 64 पर code loss का अनुमान लगाएँ। लंगर: training से पहले 3.25; पूरी fine-tuning लगभग 2.19।
इस पाठ के शब्द और चिह्न
- fine-tuning
- एक प्रशिक्षित model को नए data पर train करते रहना
- LoRA
- low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
- rank (r)
- LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
my_guess (चार code losses) भरें, फिर by_rank: ranks 1, 4, 16, 64 और "full" के लिए, 3 seeds पर औसत code loss और औसत English loss। diminishing को True पर सेट करें अगर rank 16 से 64 जाना 1 से 4 जाने के लाभ के एक चौथाई से कम पाता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।