سرفصل‌ها درس 38 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

دروازه: ریاضی، در کد (هوش مصنوعی خاموش)

چرا مهم است سه تکه از این ماژول در هر ماژول بعدی برمی‌گردند: softmaxی که از اعداد بزرگ جان سالم به در ببرد، گرادیان‌های یک ضرب ماتریسی، و واگرایی KL. این ریاضی را از قبل می‌دانید؟ می‌توانید این دروازه را اول، پیش از درس‌های دیگر، امتحان کنید: قبولی این ماژول را تمام‌شده علامت می‌زند و ماژول بعدی را باز می‌کند.

دستیار هوش مصنوعی خاموش. برای softmax از ترفند جابه‌جایی استفاده کنید: کم کردن بزرگ‌ترین امتیاز از هر امتیاز روی کاغذ هیچ چیز را تغییر نمی‌دهد، اما هر exp را حداکثر 1 نگه می‌دارد. logitهای واقعی می‌توانند بزرگ باشند و softmaxی که روی ورودی‌های بزرگ nan برگرداند بی‌صدا یک اجرای آموزش را خراب می‌کند.

واژه‌ها و نمادهای این درس
مشتق (df/dx)
اینکه خروجی به ازای هر واحد جابه‌جایی ورودی چقدر سریع تغییر می‌کند
softmax
exp هر امتیاز تقسیم بر مجموع: امتیازها به احتمال تبدیل می‌شوند
آنتروپی متقاطع
منفی لگاریتم احتمالی که به پاسخ درست داده شده
KL(P || Q)
اینکه دو توزیع چقدر متفاوت‌اند؛ فقط وقتی جورند صفر است؛ ترتیب مهم است
نوبت شما

برای آرایه‌های دوبعدی از logitها (یک ردیف برای هر نمونه) بنویسید:

  • logsumexp(z): لگاریتم جمع exp در طول هر ردیف، امن برای مقدارهای عظیم.
  • stable_softmax(z): softmax در طول هر ردیف، امن برای مقدارهای عظیم.
  • nll(z, labels): میانگین آنتروپی متقاطع که مستقیماً از logitها به‌صورت logsumexp - z[true] محاسبه شده، بدون اینکه هرگز از یک softmax لگاریتم بگیرید.
  • matmul_grads(X, W, G): برای Y = X @ W و زیانی که گرادیانش نسبت به Y برابر G است، (dX, dW)، یعنی گرادیان‌ها نسبت به X و W، را بدون ساختن هیچ ژاکوبینی برگردانید.
  • kl_normal(m1, s1, m2, s2): واگرایی KL از منحنی زنگوله‌ای N(m1, s1) به N(m2, s2)، که s1 و s2 پراکندگی‌ها (انحراف معیارها) هستند.

بررسی‌ها هر بار از شکل‌ها و اعداد تصادفی تازه استفاده می‌کنند و با جابه‌جایی و با یک انتگرال عددی مقایسه می‌کنند.

هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راه‌حل کاملی نیست. فقط فکر خودتان.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

کد · در مرورگر شما اجرا می‌شود
خروجی

        

پیشرفت شما ناشناس شمرده می‌شود. تغییر این