المنهج الدراسي الدرس 208 من 246 · الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

تعلم الجديد، ونسيان القديم

لماذا هذا مهم يتم تكييف كل نموذج مفيد: مع وثائق الشركة، أو أسلوب البرمجة، أو لغة معينة. الطريقة البديهية، وهي الاستمرار في التدريب على البيانات الجديدة، لها تكلفة لا يراها أحد حتى فوات الأوان: يصبح النموذج أسوأ في ما كان يعرفه.

تعلم GPT المسجل الخاص بالدورة اللغة الإنجليزية من نص درس الدورة. وظيفته الجديدة هي كود Python، المأخوذ من الحلول المحلولة لدورة Python. قبل التدريب، حصل على 1.70 في اللغة الإنجليزية المحجوزة و3.25 في الكود المحجوز (لقد رأى الكود بالكاد).

قم بتدريب كل weight على code لـ 60 step من 8 windows (أقصى عدد يتسع لدرس في المتصفح) وقس كل منهما مرة أخرى. شاهد المشهد أولا: الـ two losses، خطوة بخطوة، لهذا الـ full fine-tune وللطريقة الأرخص التي ستبنيها في هذا module.

توقع أولا: بعد 60 خطوة على code، هل سيبقى English loss كما هو تقريبًا، أم سيرتفع؟

دورك

اضبط my_guess على "same" أو "rises". املأ before وafter بـ adapt.losses(model) (خسارة الإنجليزية، خسارة الكود) قبل adapt.train(model, code_train, steps=60, batch=8) وبعده.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.