المنهج الدراسي الدرس 38 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

بوابة: الرياضيات، في الكود (AI off)

لماذا هذا مهم هناك ثلاث قطع من هذه الوحدة تظهر في كل وحدة لاحقة: دالة softmax التي تتحمل الأرقام الكبيرة، وتدرجات ضرب المصفوفة، وdivergence KL. هل تعرف هذه الرياضيات بالفعل؟ يمكنك أخذ هذه البوابة أولا، قبل الدروس الأخرى: اجتيازها يعني إكمال هذه الوحدة ويفتح الوحدة التالية.

إيقاف

AI tutor. بالنسبة لـ softmax، استخدم خدعة الإزاحة: طرح أكبر score من كل score لا يغير شيئا على الورق، لكنه يحافظ على كل exp بحيث لا يتجاوز 1. يمكن أن تكون الـ logits الحقيقية كبيرة، و الـ softmax التي تعيد nan عند المدخلات الكبيرة تفسد عملية التدريب بصمت.

الكلمات والرموز في هذا الدرس
المشتقة (df/dx)
ما مدى سرعة تغير المخرجات لكل وحدة دفع للمدخلات
softmax
exp لكل درجة مقسومة على المجموع: تصبح الدرجات احتمالات
cross-entropy
ناقص لوغاريتم احتمالية الإجابة الصحيحة
KL(P || Q)
مدى اختلاف توزيعين؛ صفر فقط عندما يتطابقان؛ الترتيب مهم
دورك

اكتب، للمصفوفات ثنائية الأبعاد من logits (صف واحد لكل مثال):

  • logsumexp(z): سجل مجموع exp لكل صف، آمن للقيم الكبيرة جدا.
  • stable_softmax(z): softmax على كل صف، آمن للقيم الكبيرة جدا.
  • nll(z, labels): متوسط cross-entropy المحسوب مباشرة من logits كـ logsumexp - z[true]، دون أخذ log لـ softmax أبدا.
  • matmul_grads(X, W, G): بالنسبة لـ Y = X @ W وخسارة يكون تدرجها بالنسبة لـ Y هو G، أعد (dX, dW)، وهي التدرجات بالنسبة لـ X و W، دون بناء أي Jacobian.
  • kl_normal(m1, s1, m2, s2): تباعد KL من منحنى الجرس N(m1, s1) إلى N(m2, s2)، حيث s1 و s2 هما الانحرافات (الانحرافات المعيارية).

تستخدم عمليات التحقق أشكالا وأرقاما عشوائية جديدة في كل مرة، وتقارن مع nudging ومع integral عددي.

إيقاف تشغيل الذكاء الاصطناعي: لا يوجد مدرس أو تلميحات أو حلول محلولة لهذه المسألة. اعتمد على تفكيرك الخاص فقط.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

الكود · يعمل في متصفحك
المخرجات

        

يتم احتساب تقدمك بشكل مجهول. تغيير هذا