تعلم الجديد، ونسيان القديم
لماذا هذا مهم يتم تكييف كل نموذج مفيد: مع وثائق الشركة، أو أسلوب البرمجة، أو لغة معينة. الطريقة البديهية، وهي الاستمرار في التدريب على البيانات الجديدة، لها تكلفة لا يراها أحد حتى فوات الأوان: يصبح النموذج أسوأ في ما كان يعرفه.
تعلم GPT المسجل الخاص بالدورة اللغة الإنجليزية من نص درس الدورة. وظيفته الجديدة هي كود Python، المأخوذ من الحلول المحلولة لدورة Python. قبل التدريب، حصل على 1.70 في اللغة الإنجليزية المحجوزة و3.25 في الكود المحجوز (لقد رأى الكود بالكاد).
قم بتدريب كل weight على code لـ 60 step من 8 windows (أقصى عدد يتسع لدرس في المتصفح) وقس كل منهما مرة أخرى. شاهد المشهد أولا: الـ two losses، خطوة بخطوة، لهذا الـ full fine-tune وللطريقة الأرخص التي ستبنيها في هذا module.
توقع أولا: بعد 60 خطوة على code، هل سيبقى English loss كما هو تقريبًا، أم سيرتفع؟
اضبط my_guess على "same" أو "rises". املأ before وafter بـ adapt.losses(model) (خسارة الإنجليزية، خسارة الكود) قبل adapt.train(model, code_train, steps=60, batch=8) وبعده.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.