بصمة الذاكرة: 4-bit مقابل 16-bit
إليك الحسابات التي تحدد ما إذا كان النموذج مناسباً لأجهزتك، ولماذا تنتشر النماذج "المكممة" في كل مكان. أوزان النموذج هي مجرد أرقام، وكل رقم يشغل بعض البايتات بناءً على دقته. المساحة المطلوبة بسيطة:
bytes = params * bits_per_param / 8
# (8 bits per byte)غالبا ما تستخدم Training وfull-precision inference نوع 16-bit floats (بواقع 2 bytes لكل منها). لتشغيل model على laptop أو phone يجب عليك quantize الخاص به: قم بتخزين كل weight في عدد أقل من bits. تستخدم 4-bit quantization ربع bytes فقط، لأن 4 bits هي ربع 16 bits. نفس عدد parameter، وربع الذاكرة.
العمل على نموذج بـ 7 مليارات معلمة:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)هذا هو الفرق بين النموذج الذي يحتاج إلى GPU كبير والنموذج الذي يعمل على كمبيوتر محمول. هذا هو بالضبط سبب إرسال مساعد على الجهاز (مثل ذلك الذي يشغل معلم الذكاء الاصطناعي في هذه الدورة) بنموذج 4-bit: تكلفة الجودة صغيرة، بينما الفوز في الذاكرة وعرض النطاق الترددي ضخم. هذا هو أيضاً سبب جاذبية الضبط الدقيق بكفاءة المعلمات (LoRA)، فأنت تقوم فقط بتخزين وإرسال أوزان adapter صغيرة قليلة فوق قاعدة frozen، وربما quantized.
ما الذي تغفله الصيغة البسيطة. إنها تحسب الأوزان فقط، لذا تعاملها كحد أدنى. تنسيقات 4-bit الحقيقية تخزن أيضاً مقياساً لكل مجموعة صغيرة من الأوزان، مما يرفعها إلى حوالي 4.5 إلى 5 بت لكل وزن (نموذج 7B أقرب إلى 4 GiB من 3.26). تشغيل النموذج يحتاج مساحة لذاكرة KV cache، والتي تنمو مع طول السياق. وtraining يحتاج إلى أكثر بكثير من الأوزان: الضبط الدقيق الكامل باستخدام Adam optimiser يحتفظ بـ gradients وحالتين لـ optimiser لكل وزن، حوالي 16 بايت لكل parameter في mixed precision، أي حوالي 100 GiB لنموذج 7B قبل الـ activations. هذه الفجوة هي السبب الحقيقي لوجود LoRA والضبط الدقيق المكمم.
نُبلغ عن البصمة بوحدة GiB (جيبي بايت)، بقسمة البايتات على 1024 ** 3. أبقِها رقماً عشرياً دقيقاً، ولا تقرّبها، لكي تتحقق العلاقات أدناه بدقة.
قم ببناء دالتين.
model_memory(params, bits_per_param)-> البصمة بوحدة GiB كعدد عشري:params * bits_per_param / 8 / (1024 ** 3).quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"}، حيثbefore_gbوafter_gbهما البصمتان وratioهوfrom_bits / to_bits(كم مرة أصغر النموذج المكمم).
الرياضيات حقيقية وقابلة للتقييم؛ إن تدريب الـ GPU الذي تتيحه ليس شيئا يمكن لهذا الـ sandbox تشغيله. اضغط على Run لطباعة بصمة نموذج 7B بعدة مستويات دقة.
اكتب model_memory(params, bits_per_param) الذي يعيد بصمة القدم بوحدة GiB كعدد عشري (params * bits_per_param / 8 / (1024 ** 3))، و quantization_savings(params, from_bits, to_bits) الذي يعيد {"before_gb", "after_gb", "ratio"} حيث تأتي بصمتي القدم من model_memory و ratio هو from_bits / to_bits. لا تقم بالتقريب؛ حافظ على الأعداد العشرية الدقيقة بحيث تظهر 4-bit كربع واحد بالضبط من 16-bit.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.