पाठ्यक्रम 246 में से पाठ 214 · Module 20: एक प्रशिक्षित model को सस्ते में ढालना
Module 20: एक प्रशिक्षित model को सस्ते में ढालना

छोटे weights (quantisation)

यह क्यों मायने रखता है Models संख्याओं के रूप में रखे और चलाए जाते हैं, और ज़्यादातर संख्याओं को 32 bits नहीं चाहिए। हर weight को 8 या 4 bits में रखना एक model को 4 या 8 गुना छोटा और अक्सर तेज़ बनाता है, जिससे बड़े models laptops और phones पर समाते हैं। सवाल यह है कि इसकी लागत क्या है।

सबसे सरल योजना, हर weight matrix की हर row पर: सबसे बड़ा निरपेक्ष मान ढूँढें, row को शून्य की हर ओर 2^(bits - 1) - 1 बराबर steps में बाँटें, और हर weight को सबसे पास के step तक गोल करें। गोल किए steps (छोटे integers) और हर row का एक पैमाना रखें।

छोटी संख्याएँ

4 bits पर row [0.9, -0.3, 0.05]: हर ओर 7 steps; पैमाना 0.9 / 7 = 0.129। 0.9 -> 7 steps -> 0.9; -0.3 -> -2.33 -> -2 steps -> -0.257; 0.05 -> 0.39 -> 0 steps -> 0। छोटा weight ग़ायब होता है।

इस पाठ के शब्द और चिह्न
quantisation
weights को कुछ steps तक गोल करके कम bits में रखना
आपकी बारी

बताए तरीके से quantize_row(w, bits) लिखें। फिर my_guess सेट करें: 8 और 4 bits पर English loss का अपेक्षित बदलाव, और adapt.quantize (यह हर matrix पर वही नियम लगाता है) से 8, 4, 3 और 2 bits के लिए measured भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।