कम bits: float32, float16 और loss scaling
यह क्यों मायने रखता है कम bits में रखी संख्याएँ हिलाने में तेज़ हैं और आधी memory लेती हैं, इसलिए बड़े models 16-bit संख्याओं में train और ship होते हैं। पर 16 bits दो तरह टूटते हैं जो आपको जानने होंगे।
- Overflow: float16 65,504 से ऊपर कुछ नहीं रख सकता। एक बड़ा मान infinity बनता है, और फिर nan training में फैलता है।
- Underflow: float16 नन्हे मान भी नहीं रख सकता; लगभग 3e-8 से छोटी कोई भी चीज़ ठीक 0 तक गोल होती है। छोटे gradients ग़ायब हो जाते हैं।
Loss scaling
backward pass से पहले loss को एक बड़ी संख्या S (मान लें 1,024) से गुणा करें, ताकि हर gradient S गुणा बड़ा हो और underflow रेखा से ऊपर रहे। float16 में बदलें, फिर update से पहले float32 में फिर S से भाग दें। gradients बचते हैं।
कोर्स के अपने दर्ज checkpoints ठीक इसी कारण float16 में रखे हैं: आधा आकार।
आज ज़्यादातर बड़े models एक तीसरे format में train होते हैं, bfloat16: float16 की तरह 16 bits, पर यह float32 की सीमा (लगभग 3e38 तक) रखता है और इसके बजाय सटीकता छोड़ता है (लगभग 3 सार्थक अंक)। Overflow और underflow ज़्यादातर समस्या नहीं रहते, इसलिए इसके साथ loss scaling की शायद ही ज़रूरत पड़ती है; क़ीमत गोलाई है, इसीलिए weights और update अब भी float32 में रखे जाते हैं।
इस पाठ के शब्द और चिह्न
- float16
- 16-bit संख्याएँ: आधी memory, 65,504 से ऊपर overflow, नन्हे मान 0 बनते हैं
- RECORDED
- एक असली run जो कोर्स ने एक बार train किया और आपके अध्ययन के लिए भेजता है
to_f16(g) (float16 में बदलें और वापस float32 में) और scaled_to_f16(g, S) (S से गुणा करें, बदलें, वापस बदलें, S से भाग दें) लिखें। lost_plain और lost_scaled को दिए छोटे gradients के उस हिस्से पर सेट करें जो हर तरीके से ठीक शून्य बनता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।