Gate: एक budget पर एक नया काम (AI बंद)
यह क्यों मायने रखता है असली ढालने के काम में एक लक्ष्य, एक budget और कुछ होता है जिसे आपको नहीं तोड़ना। तीनों, एक साथ, अकेले।
Gate नियम: AI tutor बंद। दर्ज GPT को Python code पर ढालें, अधिक से अधिक 8 windows के 60 training steps के साथ। एक नए run (नया seed) पर लक्ष्य:
- held-out code loss अधिक से अधिक 2.43 (base 3.25 पाता है);
- held-out English loss अधिक से अधिक 2.00 (base 1.70 पाता है);
plan सेट करें: method "full" या "lora", rank (LoRA के लिए, 1 से 64), steps और learning rate। जाँच आपकी योजना को एक नए seed पर एक बार train करती है।
इस पाठ के शब्द और चिह्न
- LoRA
- low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
- rank (r)
- LoRA के दो matrices कितने पतले हैं: हर matrix पर (d_in + d_out) x r train होने लायक weights
plan भरें।
AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।