الشبكات العصبية: من النيورون إلى Transformer
ابنِ الشبكات العصبية بنفسك، من عصبون واحد إلى transformer، ثم النماذج التوليدية، والdiffusion، وقوانين scaling، والنظر داخل النموذج، بلغة Python وNumPy، وتدريبها في متصفحك. اكتب autograd الخاص بك، وشخص عمليات التشغيل المعطلة، وحكم على الادعاءات بالأدلة، وأنهِ الدورة بمشروع capstone يمكنك إعادة تشغيله. مجاني، بدون حساب.
جاهزتان Real Python و NumPy في هذه التبويب.
بدون تثبيت، بدون حساب، بدون إعداد. كل شبكة في هذه الدورة تتدرب على جهازك الخاص، ولا يغادر أي شيء تكتبه جهازك. الوحدة 1 تراجع لغة Python وNumPy التي تحتاجها. هل أنت تتقنها بالفعل؟ درسها الأخير هو بوابة قصيرة يمكنك خوضها أولا: اجتزها وستنتقل الدورة بك مباشرة إلى الأمام.
مراجعة يومية
يحافظ التكرار المتباعد على ما تعلمته من التلاشي.
الوحدة 0: سطر البداية
ستتمكن من: شرح كيفية عمل الدورة وما الذي تقيسه؛ تقديم توقع والتحقق منه مقابل عملية run؛ تسجيل درجتك البدائية على المؤشرات الأربعة؛ قياس سرعة جهازك بوحدة FLOPs.
الوحدة 1: Python لهذه الدورة
ستتمكن من: كتابة واختبار functions على lists و dictionaries؛ استخدام NumPy arrays و shapes و slicing و broadcasting بدلا من loops؛ إنشاء seed للـ randomness بشكل قابل لإعادة الإنتاج؛ كتابة classes صغيرة و closures. يتم التحقق بواسطة Python gate (هل أنت متقن بالفعل؟ خذه أولا: النجاح يتخطى module).
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
ستتمكن من: حساب dot products و matrix multiplies و broadcasts؛ إيجاد slopes عن طريق nudging وعن طريق chain rule، للأرقام وللمصفوفات كاملة؛ شرح كيفية تراكم spread وماذا يفعل eigenvalue؛ اشتقاق softmax gradient؛ كتابة log-sum-exp و softmax و cross-entropy التي لا تسبب overflow أبدا (the gate).
الوحدة 3: من Neuron إلى MLP
ستتمكن من: بناء neuron و activations و شبكة ذات طبقتين في NumPy؛ اشتقاق backprop يدويا والتحقق منه باستخدام gradient checker؛ تدريب قارئ أرقام بنسبة دقة تتجاوز 95%؛ بناء وتدريب شبكتك الخاصة لمجموعة بيانات جديدة (the gate).
الوحدة 4: محرك autograd الخاص بك
ستتمكن من: بناء محرك autograd بنمط عكسي (graph، topological order، backward rules، broadcasting، reductions)؛ التحقق منه مقابل nudging؛ تدريب شبكة عليه بدون تدرجات مكتوبة يدويا؛ إضافة عملية جديدة بمفردك (the gate).
الوحدة 5: التحسين
ستتمكن من: شرح سبب بطء المشهد الممتد؛ بناء minibatch SGD، وmomentum، وRMSProp، وAdam، وAdamW، وschedules، وclipping؛ واختيار وضبط optimiser لمشكلة لم ترها من قبل، ضمن ميزانية (the gate).
الوحدة 6: الأوزان الابتدائية والتطبيع
ستتمكن من: قياس الإشارات عبر العمق واختيار مقاييس Xavier أو LeCun أو He؛ إيجاد الوحدات الميتة؛ بناء BatchNorm forward و backward و LayerNorm و RMSNorm؛ تجنب فخ train/eval؛ استخدام الاختصارات في الشبكات العميقة.
الوحدة 7: العمل على بيانات جديدة
ستتمكن من: قياس الإفراط في التخصيص، ونقص التخصيص، والتحيز، والتباين؛ استخدام weight decay، وdropout، وaugmentation، وearly stopping؛ قراءة double descent وlearning curves بصدق؛ ضبط model على validation data وتقديم تقرير عنه على held-out data (the gate).
الوحدة 8: تشغيل Clinic I
ستتمكن من: تشغيل أول فحصين على أي training run؛ اختيار probes التي تقسم الأعطال المحتملة؛ تشخيص وإصلاح broken runs بتغيير صغير، ضمن ميزانية (the gate)؛ الحكم على تشخيصات AI helper بواسطة الأدلة.
الوحدة 9: هل هو أفضل حقا؟
ستتمكن من: تقسيم البيانات بدون تسريب؛ استخدام الدقة والاستدعاء؛ قياس الانتشار عبر البذور؛ وضع أشرطة خطأ bootstrap على درجة؛ قياس المعايرة؛ مقارنة نموذجين بفترة مقترنة واتخاذ القرار (البوابة).
الوحدة 10: الشبكات التي ترى (CNNs)
ستتمكن من: بناء convolution و padding و pooling ومشتقاتها، و im2col؛ تدريب CNNs على house engine؛ قراءة runs المسجلة عبر seeds؛ اختبار saliency مقابل baseline؛ استخدام transfer؛ تصميم CNN تحت ميزانية وزن (the gate).
الوحدة 11: الشبكات ذات الذاكرة (RNNs)
ستتمكن من: بناء RNN ونموذج character؛ اشتقاق backprop through time؛ قياس vanishing gradients؛ بناء LSTM gates؛ قراءة recorded memory و bottleneck experiments؛ أخذ عينات مع temperature؛ إصلاح recurrent model مكسور (the gate).
الوحدة 12: الكلمات كأرقام (embeddings)
ستتمكن من: معاملة الـ embedding كـ lookup؛ بناء tokenizer لدمج الأزواج؛ إنشاء word vectors عن طريق العد وعن طريق skip-gram؛ قياس وإزالة الـ skew التي قاموا بنسخها؛ القيام بكل ذلك بمفردك في عالم لم تره من قبل (the gate).
الوحدة 13: الانتباه والتحويلات
ستتمكن من: بناء attention، وcausal mask، وheads، وpositions، وlayer norm، وblock كامل يطابق نموذجاً حقيقياً؛ اشتقاق backward pass الخاص بـ attention؛ تدريب GPT صغير؛ قراءة runs المسجلة؛ التوليد باستخدام cache؛ ربط engine الخاص بك بـ PyTorch؛ إصلاح transformer معطل (the gate).
الوحدة 14: تشغيل Clinic II
ستتمكن من: تشخيص نماذج التسلسل المعطوبة، بما في ذلك الخدع التي تبدو رائعة، والتوقفات، وأحجام الخطوات، وأخطاء أخذ العينات؛ قراءة التشغيلات المسجلة الفاشلة؛ الحكم على مساعد الذكاء الاصطناعي بناءً على الأدلة؛ التشخيص بمفردك بميزانية محدودة (the gate)؛ مقارنة امتحان الخروج الخاص بك مع خط الأساس الخاص بك.
الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)
ستتمكن من: ضغط الأرقام في أرقام قليلة وإعادة بنائها؛ توضيح سبب عدم قدرة autoencoder على صنع أرقام جديدة باستخدام القياسات؛ حساب KL بين منحنيين جرسيين و ELBO؛ أخذ عينة بطريقة يمكنك التدريب من خلالها؛ تدريب VAE يصنع أرقاماً جديدة؛ التنقل بين الأرقام؛ تشخيص وإصلاح VAE منهار بمفردك (the gate).
الوحدة 16: شبكتان في لعبة (GANs، اختياري)
وحدة اختيارية، غير مطلوبة للحصول على الشهادة. ستتمكن من: كتابة GAN losses وتحديد متى تتوقف الخسارة المشبعة من خلال ميولها؛ تدريب GAN على ثماني blobs وتقييم تغطيتها؛ إحداث mode collapse؛ اختبار حيل الاستقرار عبر seeds مسجلة والإبلاغ عما ساعد؛ تشغيل convolutional generator؛ إنقاذ GAN معطلة بمفردك (the gate).
الوحدة 17: ضجيج في الداخل، صور في الخارج (diffusion)
ستتمكن من: إضافة الضوضاء بواسطة جدول زمني، خطوة بخطوة وفي قفزة واحدة؛ قراءة أسهم الشبكة للعودة إلى البيانات؛ تدريب متنبئ بالضوضاء؛ أخذ عينات باستخدام DDPM وقول سبب قص التقدير النظيف؛ مقارنة جداول الضوضاء ومدخلات الوقت عن طريق القياس؛ بناء U-Net؛ أخذ عينات في خطوات أقل باستخدام DDIM؛ توجيه العينات باستخدام classifier-free guidance؛ ضبط نموذج مدرب بدقة؛ ملاءمة شكل جديد وحده (البوابة).
الوحدة 18: التعلم بدون تسميات
ستتمكن من: الحكم على الميزات من خلال اتفاق الجار الأقرب ومن خلال linear probe تكتبه؛ التدريب المسبق باستخدام masked prediction؛ كتابة InfoNCE وقول سبب كونه cross-entropy؛ التدريب المسبق باستخدام SimCLR وقراءة ما تقرره augmentations الخاصة به؛ مطابقة captions مع pictures (اختياري)؛ اختبار الميزات على objects لم يرها model أبدا، بمفردها (the gate).
الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)
ستتمكن من: حساب تكلفة عملية تدريب بوحدة FLOPs؛ وملاءمة قانون القوة مع حد أدنى وأشرطة خطأ؛ وقراءة ما إذا كانت الأوزان أو البيانات هي التي تحد من العملية؛ وتخطيط أفضل حجم للنموذج لميزانية ثابتة؛ والتنبؤ بعملية أكبر والتحقق منها؛ وتمييز قفزة حقيقية من مقياس ينتج عنها؛ وتخطيط عملية بمفردك (البوابة).
الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة
ستتمكن من: إظهار النسيان الكارثي؛ عدّ وبناء وفحص التدرج لـ LoRA؛ اختيار رتبتها من القياسات؛ ضبط نموذج بدقة على نصك الخاص دون إتلافه؛ تحديد متى يساعد التقطير؛ تكميم الأوزان والتنبؤ بالتكلفة؛ ضبط التفضيلات باستخدام DPO والتوقف في الوقت المناسب؛ اختيار طريقة لموقف معين؛ تحقيق هدف التكيف بميزانية محدودة بمفردك (البوابة).
الوحدة 21: النظر داخل النموذج
ستتمكن من: تحديد ما إذا كانت الأدلة حول داخل النموذج هي نمط أو تأثير أو آلية؛ تشغيل probe مع control؛ تعديل activations لمعرفة مكان وجود المعلومات؛ إزالة أجزاء والتحقق من وجود backup؛ اختبار آلية textbook على النموذج الذي أمامك؛ إظهار superposition في toy؛ تدريب sparse autoencoder واختبار feature label على نص غير مرئي؛ قراءة grokking من runs مسجلة والتحقق من موجاتها عن طريق إزالتها؛ معرفة مكان وجود المعلومات على مدخلات جديدة فقط (the gate).
الوحدة 22: الحكم على الادعاءات
ستتمكن من: العثور على مجموعة اختبار مسربة عن طريق التداخل وتقديم النتيجة النظيفة؛ تقسيم متوسط الخسارة على الجزء المهم؛ توضيح الفرق بين zero و mean ablation وتقديم الطريقة؛ تمييز فرق بذرة واحدة عن فرق مقاس مع standard errors؛ تكرار نتيجة على بذور جديدة والعثور على الإعداد الذي يتوقف عنده الصلاح؛ مراجعة ادعاء بمفرده (the gate).
الوحدة 23: استوديو المشروع النهائي: بطاقة نموذج يمكنك تشغيله
ستتمكن من: تخطيط مشروع بميزانية FLOP; استدعاء وتشغيل baseline فوق seeds; تقييم التغييرات مع error bars; إيجاد bug لا يزال يتدرب بواسطة gradient checking; تقديم finding داخل model الخاص بك مقابل control غير مدرب; التقييم مرة واحدة على hidden set مع error bars; كتابة model card تتطابق كل أرقامها مع run log الخاص بك; تصدير ملف واحد offline يعيد تشغيل runs.
الوحدة 24: الامتحان النهائي وإعادة الاختبار
ستتمكن من: عرض ما تعلمته في الجزء 2 على جميع الأقراص الأربعة مع إيقاف تشغيل AI (نموذج C)؛ مقارنة أقراصك من خط البداية إلى نهاية الجزء 2؛ التحقق بعد شهر مما بقي (نموذج D، اختياري).
يمكنك أنت فقط طباعة هذه أو حفظها. يتم حفظ الروابط في هذا المتصفح. لإظهارها لشخص ما، شارك رابط verify من الشهادة.