دروازه: ریاضی، در کد (هوش مصنوعی خاموش)
چرا مهم است سه تکه از این ماژول در هر ماژول بعدی برمیگردند: softmaxی که از اعداد بزرگ جان سالم به در ببرد، گرادیانهای یک ضرب ماتریسی، و واگرایی KL. این ریاضی را از قبل میدانید؟ میتوانید این دروازه را اول، پیش از درسهای دیگر، امتحان کنید: قبولی این ماژول را تمامشده علامت میزند و ماژول بعدی را باز میکند.
دستیار هوش مصنوعی خاموش. برای softmax از ترفند جابهجایی استفاده کنید: کم کردن بزرگترین امتیاز از هر امتیاز روی کاغذ هیچ چیز را تغییر نمیدهد، اما هر exp را حداکثر 1 نگه میدارد. logitهای واقعی میتوانند بزرگ باشند و softmaxی که روی ورودیهای بزرگ nan برگرداند بیصدا یک اجرای آموزش را خراب میکند.
واژهها و نمادهای این درس
- مشتق (df/dx)
- اینکه خروجی به ازای هر واحد جابهجایی ورودی چقدر سریع تغییر میکند
- softmax
- exp هر امتیاز تقسیم بر مجموع: امتیازها به احتمال تبدیل میشوند
- آنتروپی متقاطع
- منفی لگاریتم احتمالی که به پاسخ درست داده شده
- KL(P || Q)
- اینکه دو توزیع چقدر متفاوتاند؛ فقط وقتی جورند صفر است؛ ترتیب مهم است
برای آرایههای دوبعدی از logitها (یک ردیف برای هر نمونه) بنویسید:
logsumexp(z): لگاریتم جمع exp در طول هر ردیف، امن برای مقدارهای عظیم.stable_softmax(z): softmax در طول هر ردیف، امن برای مقدارهای عظیم.nll(z, labels): میانگین آنتروپی متقاطع که مستقیماً از logitها بهصورتlogsumexp - z[true]محاسبه شده، بدون اینکه هرگز از یک softmax لگاریتم بگیرید.matmul_grads(X, W, G): برای Y = X @ W و زیانی که گرادیانش نسبت به Y برابر G است،(dX, dW)، یعنی گرادیانها نسبت به X و W، را بدون ساختن هیچ ژاکوبینی برگردانید.kl_normal(m1, s1, m2, s2): واگرایی KL از منحنی زنگولهای N(m1, s1) به N(m2, s2)، که s1 و s2 پراکندگیها (انحراف معیارها) هستند.
بررسیها هر بار از شکلها و اعداد تصادفی تازه استفاده میکنند و با جابهجایی و با یک انتگرال عددی مقایسه میکنند.
هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راهحل کاملی نیست. فقط فکر خودتان.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
پیشرفت شما ناشناس شمرده میشود. تغییر این
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.