شبکههای عصبی: از نورون تا ترنسفورمر
شبکههای عصبی را خودتان بسازید، از یک نورون تا یک ترنسفورمر، سپس مدلهای مولد، انتشار (diffusion)، قوانین مقیاس و نگاه به درون یک مدل، با پایتون ساده و NumPy، آموزشدیده در مرورگرتان. autograd خودتان را بنویسید، اجراهای خراب را عیبیابی کنید، ادعاها را با شواهد بسنجید و با یک پروژهٔ پایانی که میتوانید دوباره اجرا کنید تمام کنید. رایگان، بدون حساب.
Python و NumPy واقعی در این زبانه آمادهاند.
بدون نصب، بدون حساب کاربری، بدون راهاندازی. هر شبکه در این دوره روی دستگاه خود شما آموزش میبیند، و هیچچیز از آنچه مینویسید از آن خارج نمیشود. ماژول ۱ Python و NumPy مورد نیازتان را مرور میکند. از قبل مسلطید؟ آخرین درس آن یک دروازهٔ کوتاه است که میتوانید اول بدهید: قبول شوید و دوره شما را مستقیم جلو میبرد.
مرور روزانه
تکرار فاصلهدار نمیگذارد آنچه یاد گرفتید کمرنگ شود.
ماژول 0: خط شروع
خواهید توانست: بگویید دوره چگونه کار میکند و چه چیزی را میسنجد؛ پیشبینی کنید و آن را با یک اجرا بسنجید؛ امتیاز آغازین خود را روی چهار شاخص ثبت کنید؛ سرعت دستگاهتان را بر حسب FLOP اندازه بگیرید.
ماژول 1: پایتون برای این دوره
خواهید توانست: تابعهایی روی فهرستها و دیکشنریها بنویسید و بیازمایید؛ به جای حلقهها از آرایهها، شکلها، برشها و پخش (broadcasting) در NumPy استفاده کنید؛ تصادفی بودن را بهطور تکرارپذیر بذرگذاری کنید؛ کلاسها و بستارهای کوچک بنویسید. با دروازهٔ پایتون بررسی میشود (از قبل مسلطید؟ اول آن را امتحان کنید: قبولی ماژول را رد میکند).
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
خواهید توانست: ضرب داخلی، ضرب ماتریسی و پخش را محاسبه کنید؛ شیبها را با جابهجایی کوچک و با قاعدهٔ زنجیرهای، برای اعداد و برای ماتریسهای کامل، پیدا کنید؛ توضیح دهید پراکندگی چگونه جمع میشود و یک مقدار ویژه چه میکند؛ گرادیان softmax را به دست آورید؛ log-sum-exp، softmax و آنتروپی متقاطعی بنویسید که هرگز سرریز نکنند (دروازه).
ماژول 3: از نورون تا MLP
خواهید توانست: یک نورون، فعالسازیها و یک شبکهٔ دولایه را در NumPy بسازید؛ پسانتشار را با دست به دست آورید و با یک بررسیکنندهٔ گرادیان بسنجید؛ یک خوانندهٔ رقم را به بیش از 95% برسانید؛ شبکهٔ خودتان را برای یک مجموعهدادهٔ تازه بسازید و آموزش دهید (دروازه).
ماژول 4: موتور autograd خودتان
خواهید توانست: یک موتور autograd حالت معکوس بسازید (گراف، ترتیب توپولوژیک، قواعد رو به عقب، پخش، کاهشها)؛ آن را با جابهجایی بسنجید؛ شبکهای را بدون هیچ گرادیان دستنوشتهای روی آن آموزش دهید؛ بهتنهایی یک عملیات تازه اضافه کنید (دروازه).
ماژول 5: بهینهسازی
خواهید توانست: توضیح دهید چرا یک چشمانداز کشیده کند است؛ SGD با دستهٔ کوچک، تکانه، RMSProp، Adam و AdamW، زمانبندیها و بریدن را بسازید؛ برای مسئلهای که ندیدهاید، با یک بودجه، یک بهینهساز انتخاب و تنظیم کنید (دروازه).
ماژول 6: وزنهای آغازین و نرمالسازی
خواهید توانست: سیگنالها را در طول عمق بسنجید و مقیاسهای Xavier، LeCun یا He را انتخاب کنید؛ واحدهای مرده را پیدا کنید؛ گذر رو به جلو و رو به عقب BatchNorm، LayerNorm و RMSNorm را بسازید؛ از دام آموزش/ارزیابی پرهیز کنید؛ در شبکههای عمیق از میانبرها استفاده کنید.
ماژول 7: کار روی دادهٔ تازه
خواهید توانست: بیشبرازش و کمبرازش، سوگیری و واریانس را بسنجید؛ از کاهش وزن، dropout، افزایش داده و توقف زودهنگام استفاده کنید؛ فرود دوگانه و منحنیهای یادگیری را صادقانه بخوانید؛ مدلی را روی دادهٔ اعتبارسنجی تنظیم و روی دادهٔ کنار گذاشتهشده گزارش کنید (دروازه).
ماژول 8: کلینیک اجرا I
خواهید توانست: دو بررسی نخست را روی هر اجرای آموزش انجام دهید؛ کاوشگرهایی را انتخاب کنید که عیبهای محتمل را از هم جدا کنند؛ اجراهای خراب را با یک تغییر کوچک، با یک بودجه، عیبیابی و درست کنید (دروازه)؛ عیبیابیهای یک دستیار هوش مصنوعی را با شواهد بسنجید.
ماژول 9: آیا واقعاً بهتر است؟
خواهید توانست: داده را بدون نشت تقسیم کنید؛ از دقت (precision) و بازیابی (recall) استفاده کنید؛ پراکندگی روی بذرها را بسنجید؛ بر یک امتیاز میلههای خطای bootstrap بگذارید؛ کالیبراسیون را بسنجید؛ دو مدل را با یک بازهٔ جفتی مقایسه کنید و تصمیم بگیرید (دروازه).
ماژول 10: شبکههایی که میبینند (CNNها)
خواهید توانست: کانولوشن، لایهگذاری، ادغام و گرادیانهایشان، و im2col را بسازید؛ CNNها را روی موتور دوره آموزش دهید؛ اجراهای ثبتشده را روی بذرها بخوانید؛ نقشهٔ برجستگی را در برابر یک خط پایه بیازمایید؛ از انتقال استفاده کنید؛ یک CNN را با بودجهٔ وزن طراحی کنید (دروازه).
ماژول 11: شبکههایی با حافظه (RNNها)
خواهید توانست: یک RNN و یک مدل نویسهای بسازید؛ پسانتشار در طول زمان را به دست آورید؛ گرادیانهای محوشونده را بسنجید؛ دروازههای LSTM را بسازید؛ آزمایشهای ثبتشدهٔ حافظه و گلوگاه را بخوانید؛ با دما نمونه بگیرید؛ یک مدل بازگشتی خراب را تعمیر کنید (دروازه).
ماژول 12: واژهها بهصورت اعداد (تعبیهها)
خواهید توانست: با یک تعبیه مثل یک جستوجو رفتار کنید؛ یک توکنساز ادغام جفتها بسازید؛ بردارهای واژه را با شمردن و با skip-gram بسازید؛ کجیای را که کپی کردهاند بسنجید و حذف کنید؛ همهٔ اینها را بهتنهایی روی دنیایی که ندیدهاید انجام دهید (دروازه).
ماژول 13: توجه و ترنسفورمرها
خواهید توانست: توجه، ماسک علّی، سرها، جایگاهها، نرمالسازی لایه و یک بلوک کامل را که با یک مدل واقعی جور است بسازید؛ گذر رو به عقب توجه را به دست آورید؛ یک GPT کوچک آموزش دهید؛ اجراهای ثبتشده را بخوانید؛ با یک حافظهٔ نهان تولید کنید؛ موتورتان را بر PyTorch نگاشت کنید؛ یک ترنسفورمر خراب را تعمیر کنید (دروازه).
ماژول 14: کلینیک اجرا II
خواهید توانست: مدلهای دنبالهای خراب را عیبیابی کنید، از جمله تقلبهایی که عالی به نظر میرسند، توقفها، اندازهٔ گامها و عیبهای نمونهگیری؛ اجراهای ثبتشدهٔ شکستخورده را بخوانید؛ یک دستیار هوش مصنوعی را با شواهد بسنجید؛ بهتنهایی با یک بودجه عیبیابی کنید (دروازه)؛ آزمون پایانی خود را با آزمون پایهتان مقایسه کنید.
ماژول 15: فشردن، بازسازی، تولید (خودرمزگذارها و VAEها)
خواهید توانست: رقمها را در چند عدد بفشارید و دوباره بسازید؛ با سنجش بگویید چرا یک خودرمزگذار نمیتواند رقمهای تازه بسازد؛ KL میان دو منحنی زنگولهای و ELBO را محاسبه کنید؛ به شکلی نمونه بگیرید که بتوانید از میانش آموزش دهید؛ VAEای آموزش دهید که رقمهای تازه میسازد؛ میان رقمها راه بروید؛ یک VAE فروریخته را بهتنهایی عیبیابی و درست کنید (دروازه).
ماژول 16: دو شبکه در یک بازی (GANها، اختیاری)
ماژول اختیاری، برای گواهی لازم نیست. خواهید توانست: زیانهای GAN را بنویسید و از روی شیبهایشان بگویید کی زیان اشباعشونده متوقف میشود؛ یک GAN را روی هشت لکه آموزش دهید و پوششش را داوری کنید؛ فروپاشی حالت را ایجاد کنید؛ ترفندهای پایدارساز را روی بذرهای ثبتشده بیازمایید و گزارش دهید چه چیزی کمک کرد؛ یک مولد کانولوشنی را اجرا کنید؛ یک GAN خراب را بهتنهایی نجات دهید (دروازه).
ماژول 17: نویز وارد، تصویر خارج (انتشار)
خواهید توانست: نویز را با یک زمانبندی، گام به گام و در یک پرش، اضافه کنید؛ پیکانهای شبکه را به سوی داده بخوانید؛ یک پیشبین نویز آموزش دهید؛ با DDPM نمونه بگیرید و بگویید چرا برآورد تمیز بریده میشود؛ زمانبندیهای نویز و ورودیهای زمان را با سنجش مقایسه کنید؛ یک U-Net بسازید؛ با DDIM در گامهای کمتر نمونه بگیرید؛ نمونهها را با هدایت بدون طبقهبند هدایت کنید؛ یک مدل آموزشدیده را تنظیم دقیق کنید؛ بهتنهایی یک شکل تازه را برازش کنید (دروازه).
ماژول 18: یادگیری بدون برچسب
خواهید توانست: ویژگیها را با توافق نزدیکترین همسایه و با یک کاوشگر خطی که خودتان مینویسید بسنجید؛ با پیشبینی ماسکدار پیشآموزش دهید؛ InfoNCE را بنویسید و بگویید چرا آنتروپی متقاطع است؛ با SimCLR پیشآموزش دهید و بخوانید افزایشهای دادهاش چه چیزی را تعیین میکنند؛ زیرنویسها را با تصاویر جور کنید (اختیاری)؛ ویژگیها را بهتنهایی روی شیءهایی که مدل هرگز ندیده بیازمایید (دروازه).
ماژول 19: بزرگتر، و چقدر بهتر (قوانین مقیاس)
خواهید توانست: هزینهٔ یک اجرای آموزش را بر حسب FLOP حساب کنید؛ یک قانون توانی با کف و میلههای خطا برازش کنید؛ بخوانید که آیا وزنها یا داده یک اجرا را محدود میکنند؛ بهترین اندازهٔ مدل را برای یک بودجهٔ ثابت برنامهریزی کنید؛ یک اجرای بزرگتر را پیشبینی و بررسی کنید؛ یک جهش واقعی را از سنجهای که جهش میسازد تشخیص دهید؛ بهتنهایی یک اجرا را برنامهریزی کنید (دروازه).
ماژول 20: سازگار کردن ارزان یک مدل آموزشدیده
خواهید توانست: فراموشی فاجعهبار را نشان دهید؛ LoRA را بشمارید، بسازید و گرادیانش را بررسی کنید؛ رتبهاش را از روی سنجشها انتخاب کنید؛ یک مدل را روی متن خودتان بدون خراب کردنش تنظیم دقیق کنید؛ بگویید کی تقطیر کمک میکند؛ وزنها را کوانتیزه کنید و هزینه را پیشبینی کنید؛ ترجیحها را با DPO تنظیم کنید و بهموقع متوقف شوید؛ برای یک موقعیت روشی انتخاب کنید؛ بهتنهایی با یک بودجه به یک هدف سازگاری برسید (دروازه).
ماژول 21: نگاه به درون یک مدل
خواهید توانست: بگویید آیا شاهدی دربارهٔ درون یک مدل یک الگو، یک اثر یا یک سازوکار است؛ یک کاوشگر را با یک شاهد کنترلی اجرا کنید؛ فعالسازیها را وصله کنید تا پیدا کنید اطلاعات کجاست؛ بخشهایی را حذف کنید و پشتیبان را بررسی کنید؛ یک سازوکار کتاب درسی را روی مدلی که پیش رویتان است بیازمایید؛ برهمنهی را در یک اسباببازی نشان دهید؛ یک خودرمزگذار تُنُک آموزش دهید و برچسب یک ویژگی را روی متن ندیده بیازمایید؛ grokking را از اجراهای ثبتشده بخوانید و موجهایش را با حذفشان بررسی کنید؛ بهتنهایی پیدا کنید اطلاعات روی ورودیهای تازه کجاست (دروازه).
ماژول 22: سنجیدن ادعاها
خواهید توانست: یک مجموعهٔ آزمون نشتکرده را با همپوشانی پیدا کنید و امتیاز پاک را گزارش دهید؛ یک میانگین زیان را در طول بخشی که مهم است تقسیم کنید؛ بگویید حذف صفری و میانگینی چه فرقی دارند و روش را گزارش دهید؛ یک تفاوت تکبذری را از یک تفاوت سنجیدهشده با خطاهای استاندارد تشخیص دهید؛ یک نتیجه را روی بذرهای تازه تکرار کنید و تنظیمی را پیدا کنید که در آن دیگر برقرار نیست؛ بهتنهایی یک ادعا را بازبینی کنید (دروازه).
ماژول 23: کارگاه پروژهٔ پایانی: یک کارت مدل که میتوانید اجرایش کنید
خواهید توانست: یک پروژه را با یک بودجهٔ FLOP برنامهریزی کنید؛ یک خط پایه را روی بذرها پیشبینی و اجرا کنید؛ تغییرها را با میلههای خطا بسنجید؛ اشکالی را که همچنان آموزش میدهد با بررسی گرادیان پیدا کنید؛ یافتهای درون مدلتان را در برابر یک کنترل آموزشندیده بسازید؛ یک بار روی یک مجموعهٔ پنهان با میلههای خطا ارزیابی کنید؛ کارت مدلی بنویسید که هر عددش با گزارش اجرای شما جور است؛ یک فایل آفلاین خروجی بگیرید که اجراهایش بازپخش میشوند.
ماژول 24: آزمون نهایی و آزمون دوباره
خواهید توانست: با هوش مصنوعی خاموش نشان دهید بخش 2 روی هر چهار شاخص چه آموخت (فرم C)؛ شاخصهایتان را از خط شروع تا پایان بخش 2 مقایسه کنید؛ یک ماه بعد بررسی کنید چه چیزی ماند (فرم D، اختیاری).
فقط شما میتوانید اینها را چاپ یا ذخیره کنید. پیوندها در این مرورگر ذخیره شدهاند. برای نشاندادن به کسی، پیوند تأیید را از گواهینامه به اشتراک بگذارید.