بوابة: الرياضيات، في الكود (AI off)
لماذا هذا مهم هناك ثلاث قطع من هذه الوحدة تظهر في كل وحدة لاحقة: دالة softmax التي تتحمل الأرقام الكبيرة، وتدرجات ضرب المصفوفة، وdivergence KL. هل تعرف هذه الرياضيات بالفعل؟ يمكنك أخذ هذه البوابة أولا، قبل الدروس الأخرى: اجتيازها يعني إكمال هذه الوحدة ويفتح الوحدة التالية.
AI tutor. بالنسبة لـ softmax، استخدم خدعة الإزاحة: طرح أكبر score من كل score لا يغير شيئا على الورق، لكنه يحافظ على كل exp بحيث لا يتجاوز 1. يمكن أن تكون الـ logits الحقيقية كبيرة، و الـ softmax التي تعيد nan عند المدخلات الكبيرة تفسد عملية التدريب بصمت.
الكلمات والرموز في هذا الدرس
- المشتقة (df/dx)
- ما مدى سرعة تغير المخرجات لكل وحدة دفع للمدخلات
- softmax
- exp لكل درجة مقسومة على المجموع: تصبح الدرجات احتمالات
- cross-entropy
- ناقص لوغاريتم احتمالية الإجابة الصحيحة
- KL(P || Q)
- مدى اختلاف توزيعين؛ صفر فقط عندما يتطابقان؛ الترتيب مهم
اكتب، للمصفوفات ثنائية الأبعاد من logits (صف واحد لكل مثال):
logsumexp(z): سجل مجموع exp لكل صف، آمن للقيم الكبيرة جدا.stable_softmax(z): softmax على كل صف، آمن للقيم الكبيرة جدا.nll(z, labels): متوسط cross-entropy المحسوب مباشرة من logits كـlogsumexp - z[true]، دون أخذ log لـ softmax أبدا.matmul_grads(X, W, G): بالنسبة لـ Y = X @ W وخسارة يكون تدرجها بالنسبة لـ Y هو G، أعد(dX, dW)، وهي التدرجات بالنسبة لـ X و W، دون بناء أي Jacobian.kl_normal(m1, s1, m2, s2): تباعد KL من منحنى الجرس N(m1, s1) إلى N(m2, s2)، حيث s1 و s2 هما الانحرافات (الانحرافات المعيارية).
تستخدم عمليات التحقق أشكالا وأرقاما عشوائية جديدة في كل مرة، وتقارن مع nudging ومع integral عددي.
إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.
يتم احتساب تقدمك بشكل مجهول. تغيير هذا
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.