الوصفة، لنماذج التسلسل
لماذا هذا مهم لا تزال الفحصتان في Module 8 (الخسارة في البداية، وحفظ دفعة واحدة) ساريتين. تضيف نماذج التسلسل طرقا جديدة للفشل الصامت، ويقوم فحصان بسيطان باكتشاف أسوأها قبل استهلاك أي موارد حوسبة.
نموذج العيادة هو GPT صغير: العرض 16، و2 blocks، و2 heads، و16 characters of context، و200 Adam steps على نص الدورة. يتم تدريبه في بضع ثوانٍ، لذا يمكنك تجربة الفحص.
التحقق 1: الخسارة البدئية
A نموذج جديد بأوزان صغيرة يوزع توقعاته بالتساوي على شخصيات V، لذا فإن خسارته هي ln(V). بالنسبة لـ 95 شخصية فإن ذلك يعني 4.55. القيمة الأعلى بكثير تعني أن هناك شيئا ما تم قياسه بشكل خاطئ؛ والقيمة الأقل بكثير تعني أن النموذج يحصل على مساعدة لا ينبغي له الحصول عليها.
التحقق 2: لا غش
قم بتغيير الحرف الأخير من المدخلات. إذا تغير أي تنبؤ لموقع سابق، يمكن للنموذج رؤية المستقبل (Module 13)، وكل رقم تدريب تحصل عليه يكون جيداً جداً لدرجة يصعب تصديقها.
| Probe | ما يخبرك به | تشغيل سليم |
|---|---|---|
loss_curve(c) | خسارة التدريب كل 25 خطوة، والخسارة على النص غير المرئي في النهاية. انظر دائما أولا. | 4.55 حتى حوالي 2.9؛ غير مرئي حوالي 3.0 |
loss_at_init(c) | Loss قبل التدريب. نموذج جديد يتوقع بالتساوي عبر 95 حرفا يعطي ln(95). | 4.55 |
leak_check(c) | هل يمكن لشخصية لاحقة تغيير تنبؤ سابق؟ | False |
show_batch(c) | مدخل تدريب واحد وهدفه، كنص. | target = تم نقل input خطوة واحدة لليسار |
update_ratio(c) | بعد خطوة Adam الأولى، ما هو مقدار تحرك الأوزان بالنسبة لحجمها. ليست قاعدة Module 8: نطاق 0.001 إلى 0.1 مخصص لخطوات SGD العادية. خطوة Adam الأولى تحرك كل وزن بمقدار معدل التعلم تقريبًا مهما كانت قيمة gradient الخاصة به، وتبدأ هذه الأوزان بالقرب من 0.02، لذا فإن 0.01 / 0.02 تعطي حوالي 0.5. قارن حالة مع هذه التشغيلة السليمة، وليس مع نطاق Module 8. | حوالي 0.5 |
block_change(c) | كم يغير الكتلة الأولى كل متجه في البداية. | حوالي 0.3 |
الكلمات والرموز في هذا الدرس
- ln(V)
- الخسارة الابتدائية لنموذج يتوقع بالتساوي عبر V رموز: 4.55 لـ 95 حرفاً
- جيد جدا لدرجة يصعب تصديقها
- خسارة التدريب أفضل بكثير من التشغيل السليم، خسارة النص غير المرئي أسوأ بكثير
- تغيير الكتلة
- كم يغير الكتلة الواحدة المتجه في البداية؛ القيمة القريبة من 1 تعني أنها استبدلته
اكتب expected_start(V) و my_leak_check(c)، باستخدام _init و _logits و DATA الخاصة بالعيادة. يجب أن تتوافق مع مجسات العيادة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.