छोटे weights (quantisation)
यह क्यों मायने रखता है Models संख्याओं के रूप में रखे और चलाए जाते हैं, और ज़्यादातर संख्याओं को 32 bits नहीं चाहिए। हर weight को 8 या 4 bits में रखना एक model को 4 या 8 गुना छोटा और अक्सर तेज़ बनाता है, जिससे बड़े models laptops और phones पर समाते हैं। सवाल यह है कि इसकी लागत क्या है।
सबसे सरल योजना, हर weight matrix की हर row पर: सबसे बड़ा निरपेक्ष मान ढूँढें, row को शून्य की हर ओर 2^(bits - 1) - 1 बराबर steps में बाँटें, और हर weight को सबसे पास के step तक गोल करें। गोल किए steps (छोटे integers) और हर row का एक पैमाना रखें।
छोटी संख्याएँ
4 bits पर row [0.9, -0.3, 0.05]: हर ओर 7 steps; पैमाना 0.9 / 7 = 0.129। 0.9 -> 7 steps -> 0.9; -0.3 -> -2.33 -> -2 steps -> -0.257; 0.05 -> 0.39 -> 0 steps -> 0। छोटा weight ग़ायब होता है।
इस पाठ के शब्द और चिह्न
- quantisation
- weights को कुछ steps तक गोल करके कम bits में रखना
बताए तरीके से quantize_row(w, bits) लिखें। फिर my_guess सेट करें: 8 और 4 bits पर English loss का अपेक्षित बदलाव, और adapt.quantize (यह हर matrix पर वही नियम लगाता है) से 8, 4, 3 और 2 bits के लिए measured भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।