LoRA, बनाया
यह क्यों मायने रखता है इसे एक बार बनाना तीन चीज़ें साफ़ करता है: यह हानिरहित क्यों शुरू होता है, इसके gradients सस्ते क्यों हैं, और मूल weights कभी क्यों नहीं बदलते।
घर के engine पर एक LoRA layer: forward x W + (alpha / r) x A B है, W जमा के साथ। engine A और B के gradients ख़ुद निकालता है (आपका Module 4 engine भी निकालता); W बस अद्यतन नहीं होना चाहिए, जो आप जाँचते हैं।
इस पाठ के शब्द और चिह्न
- LoRA
- low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
engine operations से lora_forward(x, W, A, B, alpha) लिखें। फिर, starter की छोटी layer पर जाँचें: जब तक B शून्य है output x W के बराबर है; एक backward pass के बाद, W का कोई update नहीं पर A या B का है; और A का gradient धकेलने से मेल खाता है। max_gap को सबसे बड़े अंतर पर सेट करें। engine float32 में काम करता है, इसलिए h = 1e-3 या ज़्यादा से धकेलें: 1e-4 के साथ loss का बदलाव गोलाई में खो जाता है और एक सही gradient ग़लत दिखता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।