بوابة: مهمة جديدة بميزانية محددة (AI off)
لماذا هذا مهم عمل التكيف الحقيقي له هدف، وميزانية، وشيء يجب ألا تكسره. الثلاثة معاً، في وقت واحد، بمفردهم.
Gate: إيقاف المعلم الآلي. قم بتكييف GPT المسجل مع كود Python بحد أقصى 60 خطوة تدريب لكل منها 8 نوافذ. الأهداف في تشغيل جديد (بذرة جديدة):
- خسارة الكود المستبعد في أقصى حد 2.43 (الدرجة الأساسية 3.25)؛
خسارة
- held-out باللغة الإنجليزية لا تتجاوز 2.00 (الدرجة الأساسية هي 1.70)؛
Set plan: method "full" أو "lora"، والrank (لـ LoRA، من 1 إلى 64)، وsteps، وlearning rate. يقومت check بتدريب خطتك مرة واحدة على seed جديد.
الكلمات والرموز في هذا الدرس
- LoRA
- التكيف منخفض الرتبة: مصفوفة أوزان مجمدة بالإضافة إلى مصفوفتين نحيفتين قابلتين للتدريب، x W + (alpha / r) x A B
- rank (r)
- كم هي نحيفة مصفوفتا LoRA: (d_in + d_out) x r من الأوزان القابلة للتدريب لكل مصفوفة
املأ
plan.
إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.