पाठ्यक्रम 246 में से पाठ 210 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

LoRA, बनाया

यह क्यों मायने रखता है इसे एक बार बनाना तीन चीज़ें साफ़ करता है: यह हानिरहित क्यों शुरू होता है, इसके gradients सस्ते क्यों हैं, और मूल weights कभी क्यों नहीं बदलते।

घर के engine पर एक LoRA layer: forward x W + (alpha / r) x A B है, W जमा के साथ। engine A और B के gradients ख़ुद निकालता है (आपका Module 4 engine भी निकालता); W बस अद्यतन नहीं होना चाहिए, जो आप जाँचते हैं।

इस पाठ के शब्द और चिह्न
LoRA
low-rank adaptation: एक जमा weight matrix और दो पतले train होने लायक, x W + (alpha / r) x A B
आपकी बारी

engine operations से lora_forward(x, W, A, B, alpha) लिखें। फिर, starter की छोटी layer पर जाँचें: जब तक B शून्य है output x W के बराबर है; एक backward pass के बाद, W का कोई update नहीं पर A या B का है; और A का gradient धकेलने से मेल खाता है। max_gap को सबसे बड़े अंतर पर सेट करें। engine float32 में काम करता है, इसलिए h = 1e-3 या ज़्यादा से धकेलें: 1e-4 के साथ loss का बदलाव गोलाई में खो जाता है और एक सही gradient ग़लत दिखता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।