جميع الدورات مجاني · بدون حساب · في متصفحك

الشبكات العصبية: من النيورون إلى Transformer

ابنِ الشبكات العصبية بنفسك، من عصبون واحد إلى transformer، ثم النماذج التوليدية، والdiffusion، وقوانين scaling، والنظر داخل النموذج، بلغة Python وNumPy، وتدريبها في متصفحك. اكتب autograd الخاص بك، وشخص عمليات التشغيل المعطلة، وحكم على الادعاءات بالأدلة، وأنهِ الدورة بمشروع capstone يمكنك إعادة تشغيله. مجاني، بدون حساب.

25 وحدات 246 دروس تمارين 246 مصححة تلقائيا تعلم ذاتي · حوالي 143 من المواد تم التدريب في متصفحك، لا حاجة لـ GPUتنبأ بالمنحنى، ثم قم بتشغيله
تقدمك تم إكمال 246 / 0 تمارين
الهدف اليومي
الوحدة 1 · 60 دقيقة

الوحدة 0: سطر البداية

ستتمكن من: شرح كيفية عمل الدورة وما الذي تقيسه؛ تقديم توقع والتحقق منه مقابل عملية run؛ تسجيل درجتك البدائية على المؤشرات الأربعة؛ قياس سرعة جهازك بوحدة FLOPs.

الوحدة 2 · حول 8 h

الوحدة 1: Python لهذه الدورة

ستتمكن من: كتابة واختبار functions على lists و dictionaries؛ استخدام NumPy arrays و shapes و slicing و broadcasting بدلا من loops؛ إنشاء seed للـ randomness بشكل قابل لإعادة الإنتاج؛ كتابة classes صغيرة و closures. يتم التحقق بواسطة Python gate (هل أنت متقن بالفعل؟ خذه أولا: النجاح يتخطى module).

✓ 5 القوائم والحلقات التكرارية على البيانات الحقيقية تمرين 25 دقيقة عرض ✓ 6 الدوال التي يمكنك اختبارها تمرين 25 دقيقة عرض ✓ 7 القواميس والعد تمرين 25 دقيقة عرض ✓ 8 قراءة رسالة خطأ تمرين 25 دقيقة عرض ✓ 9 مصفوفات NumPy: لماذا لا نستخدم القوائم؟ تمرين 10 دقيقة عرض ✓ 10 الأشكال: الصفوف، الأعمدة، الدفعات تمرين 45 دقيقة عرض ✓ 11 قص قطع من صورة تمرين 15 دقيقة عرض ✓ 12 استبدال الحلقات بعمليات حسابية على المصفوفة كاملة تمرين 20 دقيقة عرض ✓ 13 أرقام عشوائية يمكنك تكرارها تمرين 15 دقيقة عرض ✓ 14 المتوسط، والانتشار، والتطبيع تمرين 20 دقيقة عرض ✓ 15 رسم دالة تمرين 20 دقيقة عرض ✓ 16 قراءة منحنى الخسارة تمرين 25 دقيقة عرض ✓ 17 تحميل مجموعة بيانات صغيرة تمرين 20 دقيقة عرض ✓ 18 إيجاد الجزء البطيء تمرين 20 دقيقة عرض ✓ 19 الكائنات التي تتذكر (classes و closures) تمرين 65 دقيقة عرض ✓ 20 مشروع صغير: ملاءمة خط عن طريق الإزاحة تمرين 45 دقيقة عرض ✓ 21 بوابة: Python لهذه الدورة (AI off) تمرين 55 دقيقة عرض
الخطوة 1 من 7 · طبقة الشبكة سطر البداية أكمل جميع تمارين 5 في هذه المرحلة للحصول على طبقتها.
الوحدة 3 · حول 7 h

الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

ستتمكن من: حساب dot products و matrix multiplies و broadcasts؛ إيجاد slopes عن طريق nudging وعن طريق chain rule، للأرقام وللمصفوفات كاملة؛ شرح كيفية تراكم spread وماذا يفعل eigenvalue؛ اشتقاق softmax gradient؛ كتابة log-sum-exp و softmax و cross-entropy التي لا تسبب overflow أبدا (the gate).

✓ 22 البيوت كقوائم من الأرقام (متجهات) تمرين 20 دقيقة عرض ✓ 23 حاصل الضرب النقطي، ولماذا تعتبر الخلية العصبية واحدة تمرين 20 دقيقة عرض ✓ 24 ضرب المصفوفات: طبقة كاملة دفعة واحدة تمرين 15 دقيقة عرض ✓ 25 البث: عندما تتمد الأشكال تمرين 50 دقيقة عرض ✓ 26 الميول عن طريق الإزاحة (المشتقات) تمرين 10 دقيقة عرض ✓ 27 تمرير دفعة (قاعدة السلسلة) تمرين 25 دقيقة عرض ✓ 28 لماذا يعدت التدرج العكسي رخيصا (reverse mode) تمرين 20 دقيقة عرض ✓ 29 تدرجات المصفوفات الكاملة (قاعدة الشكل) تمرين 15 دقيقة عرض ✓ 30 الاحتمالات، والمتوسطات، والانتشار تمرين 20 دقيقة عرض ✓ 31 منحنى الجرس (Gaussians) تمرين 20 دقيقة عرض ✓ 32 كيف يجمع spread، وما الذي يمدده matrix تمرين 50 دقيقة عرض ✓ 33 أي تخمين يفسر البيانات بشكل أفضل (likelihood) تمرين 20 دقيقة عرض ✓ 34 تحويل الدرجات إلى احتمالات (softmax) تمرين 20 دقيقة عرض ✓ 35 الإنتروبيا المتقاطعة هي احتمالية في شكل مستتر تمرين 20 دقيقة عرض ✓ 36 تدرج softmax، وسبب إخفاء الخسارة له تمرين 25 دقيقة عرض ✓ 37 ما مدى اختلاف تقديرين (KL divergence) تمرين 20 دقيقة عرض ✓ 38 بوابة: الرياضيات، في الكود (AI off) تمرين 35 دقيقة عرض
الوحدة 4 · حول 8 h

الوحدة 3: من Neuron إلى MLP

ستتمكن من: بناء neuron و activations و شبكة ذات طبقتين في NumPy؛ اشتقاق backprop يدويا والتحقق منه باستخدام gradient checker؛ تدريب قارئ أرقام بنسبة دقة تتجاوز 95%؛ بناء وتدريب شبكتك الخاصة لمجموعة بيانات جديدة (the gate).

الوحدة 5 · حول 8 h

الوحدة 4: محرك autograd الخاص بك

ستتمكن من: بناء محرك autograd بنمط عكسي (graph، topological order، backward rules، broadcasting، reductions)؛ التحقق منه مقابل nudging؛ تدريب شبكة عليه بدون تدرجات مكتوبة يدويا؛ إضافة عملية جديدة بمفردك (the gate).

الخطوة 2 من 7 · طبقة الشبكة الأساسيات أكمل جميع تمارين 3 في هذه المرحلة للحصول على طبقتها.
الخطوة 3 من 7 · طبقة الشبكة جعل التدريب يعمل أكمل جميع تمارين 40 في هذه المرحلة للحصول على طبقتها.
الوحدة 11 · حول 10 h

الوحدة 10: الشبكات التي ترى (CNNs)

ستتمكن من: بناء convolution و padding و pooling ومشتقاتها، و im2col؛ تدريب CNNs على house engine؛ قراءة runs المسجلة عبر seeds؛ اختبار saliency مقابل baseline؛ استخدام transfer؛ تصميم CNN تحت ميزانية وزن (the gate).

الوحدة 14 · حول 10 h

الوحدة 13: الانتباه والتحويلات

ستتمكن من: بناء attention، وcausal mask، وheads، وpositions، وlayer norm، وblock كامل يطابق نموذجاً حقيقياً؛ اشتقاق backward pass الخاص بـ attention؛ تدريب GPT صغير؛ قراءة runs المسجلة؛ التوليد باستخدام cache؛ ربط engine الخاص بك بـ PyTorch؛ إصلاح transformer معطل (the gate).

✓ 141 الانتباه هو بحث بسيط مشاهدة 20 دقيقة عرض ✓ 142 لماذا نقسم على الجذر التربيعي لـ d تمرين 45 دقيقة عرض ✓ 143 الانتباه يحل مشكلة عنق الزجاجة تمرين 40 دقيقة عرض ✓ 144 الانتباه الذاتي: كل موضع يسأل كل موضع آخر تمرين 20 دقيقة عرض ✓ 145 القناع السببي: لا تطلع على ما بعده مشاهدة 45 دقيقة عرض ✓ 146 التراجع عبر الانتباه تمرين 25 دقيقة عرض ✓ 147 رؤوس كثيرة، تكلفة واحدة مشاهدة 40 دقيقة عرض ✓ 148 الانتباه ليس له حس بالترتيب تمرين 50 دقيقة عرض ✓ 149 المواقع كموجات تمرين 50 دقيقة عرض ✓ 150 تطبيع الطبقة: إبقاء كل متجه في النطاق تمرين 20 دقيقة عرض ✓ 151 كتلة transformer واحدة، يدويا مشاهدة 60 دقيقة عرض ✓ 152 أين توجد المعاملات تمرين 10 دقيقة عرض ✓ 153 تدريب نموذج GPT صغير، مباشرة تمرين 25 دقيقة عرض ✓ 154 النماذج الأوسع تريد خطوات أصغر تمرين 60 دقيقة عرض ✓ 155 ما الذي تنظر إليه الرؤوس تمرين 40 دقيقة عرض ✓ 156 توليد سريع: ذاكرة التخزين المؤقت للمفاتيح والقيم مشاهدة 40 دقيقة عرض ✓ 157 محركك، بمصطلحات PyTorch تمرين 25 دقيقة عرض ✓ 158 بوابة: محول تالف (إيقاف الذكاء الاصطناعي) تمرين 15 دقيقة عرض
الوحدة 15 · حول 4 h

الوحدة 14: تشغيل Clinic II

ستتمكن من: تشخيص نماذج التسلسل المعطوبة، بما في ذلك الخدع التي تبدو رائعة، والتوقفات، وأحجام الخطوات، وأخطاء أخذ العينات؛ قراءة التشغيلات المسجلة الفاشلة؛ الحكم على مساعد الذكاء الاصطناعي بناءً على الأدلة؛ التشخيص بمفردك بميزانية محدودة (the gate)؛ مقارنة امتحان الخروج الخاص بك مع خط الأساس الخاص بك.

الخطوة 4 من 7 · طبقة الشبكة بنى الهياكل أكمل جميع تمارين 56 في هذه المرحلة للحصول على طبقتها.
الوحدة 16 · حول 5 h

الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)

ستتمكن من: ضغط الأرقام في أرقام قليلة وإعادة بنائها؛ توضيح سبب عدم قدرة autoencoder على صنع أرقام جديدة باستخدام القياسات؛ حساب KL بين منحنيين جرسيين و ELBO؛ أخذ عينة بطريقة يمكنك التدريب من خلالها؛ تدريب VAE يصنع أرقاماً جديدة؛ التنقل بين الأرقام؛ تشخيص وإصلاح VAE منهار بمفردك (the gate).

الوحدة 17 · حول 4 h

الوحدة 16: شبكتان في لعبة (GANs، اختياري)

وحدة اختيارية، غير مطلوبة للحصول على الشهادة. ستتمكن من: كتابة GAN losses وتحديد متى تتوقف الخسارة المشبعة من خلال ميولها؛ تدريب GAN على ثماني blobs وتقييم تغطيتها؛ إحداث mode collapse؛ اختبار حيل الاستقرار عبر seeds مسجلة والإبلاغ عما ساعد؛ تشغيل convolutional generator؛ إنقاذ GAN معطلة بمفردك (the gate).

الوحدة 18 · حول 8 h

الوحدة 17: ضجيج في الداخل، صور في الخارج (diffusion)

ستتمكن من: إضافة الضوضاء بواسطة جدول زمني، خطوة بخطوة وفي قفزة واحدة؛ قراءة أسهم الشبكة للعودة إلى البيانات؛ تدريب متنبئ بالضوضاء؛ أخذ عينات باستخدام DDPM وقول سبب قص التقدير النظيف؛ مقارنة جداول الضوضاء ومدخلات الوقت عن طريق القياس؛ بناء U-Net؛ أخذ عينات في خطوات أقل باستخدام DDIM؛ توجيه العينات باستخدام classifier-free guidance؛ ضبط نموذج مدرب بدقة؛ ملاءمة شكل جديد وحده (البوابة).

الوحدة 19 · حول 6 h

الوحدة 18: التعلم بدون تسميات

ستتمكن من: الحكم على الميزات من خلال اتفاق الجار الأقرب ومن خلال linear probe تكتبه؛ التدريب المسبق باستخدام masked prediction؛ كتابة InfoNCE وقول سبب كونه cross-entropy؛ التدريب المسبق باستخدام SimCLR وقراءة ما تقرره augmentations الخاصة به؛ مطابقة captions مع pictures (اختياري)؛ اختبار الميزات على objects لم يرها model أبدا، بمفردها (the gate).

الخطوة 5 من 7 · طبقة الشبكة الشبكات التي تصنع الأشياء أكمل جميع تمارين 26 في هذه المرحلة للحصول على طبقتها.
الوحدة 20 · حول 5 h

الوحدة 19: أكبر، وأفضل بكثير (قوانين التوسع)

ستتمكن من: حساب تكلفة عملية تدريب بوحدة FLOPs؛ وملاءمة قانون القوة مع حد أدنى وأشرطة خطأ؛ وقراءة ما إذا كانت الأوزان أو البيانات هي التي تحد من العملية؛ وتخطيط أفضل حجم للنموذج لميزانية ثابتة؛ والتنبؤ بعملية أكبر والتحقق منها؛ وتمييز قفزة حقيقية من مقياس ينتج عنها؛ وتخطيط عملية بمفردك (البوابة).

الوحدة 21 · حول 5 h

الوحدة 20: تكييف نموذج مدرب بتكلفة منخفضة

ستتمكن من: إظهار النسيان الكارثي؛ عدّ وبناء وفحص التدرج لـ LoRA؛ اختيار رتبتها من القياسات؛ ضبط نموذج بدقة على نصك الخاص دون إتلافه؛ تحديد متى يساعد التقطير؛ تكميم الأوزان والتنبؤ بالتكلفة؛ ضبط التفضيلات باستخدام DPO والتوقف في الوقت المناسب؛ اختيار طريقة لموقف معين؛ تحقيق هدف التكيف بميزانية محدودة بمفردك (البوابة).

الوحدة 22 · حول 8 h

الوحدة 21: النظر داخل النموذج

ستتمكن من: تحديد ما إذا كانت الأدلة حول داخل النموذج هي نمط أو تأثير أو آلية؛ تشغيل probe مع control؛ تعديل activations لمعرفة مكان وجود المعلومات؛ إزالة أجزاء والتحقق من وجود backup؛ اختبار آلية textbook على النموذج الذي أمامك؛ إظهار superposition في toy؛ تدريب sparse autoencoder واختبار feature label على نص غير مرئي؛ قراءة grokking من runs مسجلة والتحقق من موجاتها عن طريق إزالتها؛ معرفة مكان وجود المعلومات على مدخلات جديدة فقط (the gate).

الوحدة 23 · حول 5 h

الوحدة 22: الحكم على الادعاءات

ستتمكن من: العثور على مجموعة اختبار مسربة عن طريق التداخل وتقديم النتيجة النظيفة؛ تقسيم متوسط الخسارة على الجزء المهم؛ توضيح الفرق بين zero و mean ablation وتقديم الطريقة؛ تمييز فرق بذرة واحدة عن فرق مقاس مع standard errors؛ تكرار نتيجة على بذور جديدة والعثور على الإعداد الذي يتوقف عنده الصلاح؛ مراجعة ادعاء بمفرده (the gate).

الخطوة 6 من 7 · طبقة الشبكة توسيع وفهم أكمل جميع تمارين 36 في هذه المرحلة للحصول على طبقتها.
الوحدة 24 · حول 7 h

الوحدة 23: استوديو المشروع النهائي: بطاقة نموذج يمكنك تشغيله

ستتمكن من: تخطيط مشروع بميزانية FLOP; استدعاء وتشغيل baseline فوق seeds; تقييم التغييرات مع error bars; إيجاد bug لا يزال يتدرب بواسطة gradient checking; تقديم finding داخل model الخاص بك مقابل control غير مدرب; التقييم مرة واحدة على hidden set مع error bars; كتابة model card تتطابق كل أرقامها مع run log الخاص بك; تصدير ملف واحد offline يعيد تشغيل runs.

الوحدة 25 · 50 دقيقة

الوحدة 24: الامتحان النهائي وإعادة الاختبار

ستتمكن من: عرض ما تعلمته في الجزء 2 على جميع الأقراص الأربعة مع إيقاف تشغيل AI (نموذج C)؛ مقارنة أقراصك من خط البداية إلى نهاية الجزء 2؛ التحقق بعد شهر مما بقي (نموذج D، اختياري).

الخطوة 7 من 7 · طبقة الشبكة مشروع التخرج والإثبات أكمل جميع تمارين 10 في هذه المرحلة للحصول على طبقتها.