Semua kursus Gratis · Tanpa akun · Di browsermu

Jaringan Saraf: Dari Neuron ke Transformer

Bangun neural networks sendiri, dari satu neuron sampai ke transformer, lalu model generatif, diffusion, scaling laws dan melihat ke dalam model, pakai Python dan NumPy biasa, dilatih di browsermu. Tulis autograd milikmu sendiri, diagnosa jalannya yang rusak, nilai klaim dengan bukti, dan akhiri dengan capstone yang bisa kamu mainkan ulang. Gratis, tanpa akun.

25 modul 246 pelajaran Latihan penilaian otomatis 246 Belajar mandiri · ~143 materi Dilatih di browser kamu, tidak butuh GPUPrediksi kurvanya, lalu jalankan
Kemajuanmu 0 / 246 latihan selesai
Target harian
Modul 1 · 60 menit

Modul 0: Baris awal

Kamu akan bisa: menjelaskan cara kerja kursus ini dan apa yang diukurnya; membuat prediksi dan mengeceknya dengan hasil jalannya program; mencatat skor awalmu pada keempat dial; mengukur kecepatan perangkatmu dalam FLOPs.

Langkah 1 dari 7 · lapisan jaringan Mulai baris Selesaikan semua latihan 5 di tahap ini untuk mendapatkan layernya.
Modul 3 · tentang 7 h

Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Kamu akan bisa: menghitung dot products, matrix multiplies dan broadcasts; mencari slope dengan nudging dan chain rule, untuk angka dan untuk seluruh matriks; menjelaskan bagaimana spread bertambah dan apa fungsi eigenvalue; menurunkan softmax gradient; menulis log-sum-exp, softmax dan cross-entropy yang tidak pernah overflow (the gate).

Langkah 2 dari 7 · lapisan jaringan Dasar-dasar Selesaikan semua latihan 3 di tahap ini untuk mendapatkan layernya.
Langkah 3 dari 7 · lapisan jaringan Membuat pelatihan berjalan Selesaikan semua latihan 40 di tahap ini untuk mendapatkan layernya.
Modul 14 · tentang 10 h

Modul 13: Attention dan transformers

Kamu akan bisa: membangun attention, causal mask, heads, positions, layer norm dan satu blok utuh yang mirip model asli; menurunkan backward pass attention; melatih GPT kecil; membaca recorded runs; melakukan generate dengan cache; memetakan engine kamu ke PyTorch; memperbaiki transformer yang rusak (the gate).

Langkah 4 dari 7 · lapisan jaringan Arsitektur untuk struktur Selesaikan semua latihan 56 di tahap ini untuk mendapatkan layernya.
Modul 16 · tentang 5 h

Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)

Kamu akan bisa: memadatkan digit ke beberapa angka dan membangunnya kembali; menjelaskan, dengan pengukuran, mengapa autoencoder tidak bisa membuat digit baru; menghitung KL antara dua kurva lonceng dan ELBO; mengambil sampel dengan cara yang bisa kamu latih; melatih VAE yang membuat digit baru; berjalan di antara digit; mendiagnosis dan memperbaiki VAE yang kolaps sendirian (the gate).

Modul 17 · tentang 4 h

Modul 16: Dua jaringan dalam sebuah game (GANs, opsional)

Modul opsional, tidak dibutuhkan untuk sertifikat. Kamu akan bisa: menulis GAN losses dan melihat dari kemiringannya kapan yang saturasi berhenti; melatih GAN pada delapan blobs dan menilai cakupannya; membuat mode collapse terjadi; menguji trik stabilisasi pada seeds yang dicatat dan melaporkan apa yang membantu; menjalankan convolutional generator; menyelamatkan GAN yang rusak sendirian (the gate).

Modul 18 · tentang 8 h

Modul 17: Masukan noise, keluaran gambar (diffusion)

Kamu akan bisa: menambah noise dengan jadwal, langkah demi langkah dan sekaligus; membaca kembali panah jaringan ke data; melatih noise predictor; melakukan sampling dengan DDPM dan menjelaskan mengapa estimasi bersih terpotong; membandingkan jadwal noise dan input waktu dengan pengukuran; membangun U-Net; melakukan sampling dalam lebih sedikit langkah dengan DDIM; mengarahkan sampel dengan classifier-free guidance; melakukan fine-tune pada model yang sudah dilatih; menyesuaikan bentuk baru sendirian (gate).

Modul 19 · tentang 6 h

Modul 18: Belajar tanpa label

Kamu akan bisa: menilai fitur dengan kesepakatan tetangga terdekat dan dengan linear probe yang kamu tulis; melakukan pretrain dengan masked prediction; menulis InfoNCE dan menjelaskan kenapa itu adalah cross-entropy; melakukan pretrain dengan SimCLR dan membaca apa yang diputuskan oleh augmentasi nya; mencocokkan caption dengan gambar (opsional); menguji fitur pada objek yang tidak pernah dilihat model, sendirian (the gate).

Langkah 5 dari 7 · lapisan jaringan Jaringan yang membuat sesuatu Selesaikan semua latihan 26 di tahap ini untuk mendapatkan layernya.
Modul 20 · tentang 5 h

Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Kamu akan bisa: menghitung biaya training run dalam FLOPs; mencocokkan power law dengan floor dan error bars; membaca apakah weights atau data yang membatasi sebuah run; merencanakan ukuran model terbaik untuk budget tetap; memprediksi run yang lebih besar dan mengeceknya; membedakan lonjakan nyata dari metrik yang membuatnya; merencanakan sebuah run sendirian (the gate).

Modul 21 · tentang 5 h

Modul 20: Mengadaptasi model yang sudah dilatih dengan murah

Kamu akan bisa: menunjukkan catastrophic forgetting; menghitung, membangun, dan melakukan gradient-check pada LoRA; memilih rank nya dari hasil pengukuran; melakukan fine-tune pada model dengan teksmu sendiri tanpa merusaknya; menentukan kapan distillation membantu; melakukan quantise pada weights dan memprediksi biayanya; mengatur preferensi dengan DPO dan berhenti tepat waktu; memilih metode untuk suatu situasi; mencapai target adaptasi dengan anggaran terbatas sendirian (the gate).

Modul 22 · tentang 8 h

Modul 21: Melihat ke dalam sebuah model

Kamu akan bisa: menentukan apakah bukti tentang bagian dalam model adalah pola, efek, atau mekanisme; menjalankan probe dengan kontrol; melakukan patch pada aktivasi untuk mencari di mana informasi berada; menghapus bagian dan memeriksa cadangan; menguji mekanisme buku teks pada model di depanmu; menunjukkan superposisi pada mainan; melatih sparse autoencoder dan menguji label fitur pada teks yang belum dilihat; membaca grokking dari jalannya rekaman dan memeriksa gelombangnya dengan menghapusnya; menemukan di mana informasi berada pada input baru saja (gate).

Modul 23 · tentang 5 h

Modul 22: Menilai klaim

Kamu akan bisa: menemukan set pengujian yang bocor melalui tumpang tindih dan melaporkan skor bersih; membagi rata-rata loss pada bagian yang penting; menjelaskan perbedaan antara zero dan mean ablation serta melaporkan metodenya; membedakan perbedaan satu seed dari yang terukur dengan standar error; mereplikasi hasil pada seed baru dan menemukan pengaturan di mana itu berhenti berlaku; meninjau klaim sendirian (gate).

Langkah 6 dari 7 · lapisan jaringan Skalakan dan pahami Selesaikan semua latihan 36 di tahap ini untuk mendapatkan layernya.
Modul 24 · tentang 7 h

Modul 23: Capstone studio: kartu model yang bisa kamu jalankan

Kamu akan bisa: merencanakan proyek dengan anggaran FLOP; memanggil dan menjalankan baseline di atas seeds; menilai perubahan dengan error bars; menemukan bug yang masih melakukan training dengan gradient checking; membuat temuan di dalam modelmu terhadap kontrol yang tidak dilatih; mengevaluasi sekali pada hidden set dengan error bars; menulis model card yang setiap angkanya cocok dengan run log milikmu; mengekspor satu file offline yang menjalankan ulang runs.

Modul 25 · 50 menit

Modul 24: Ujian akhir dan ujian ulang

Kamu akan bisa: menunjukkan, dengan AI dimatikan, apa yang diajarkan Part 2 pada keempat dial (form C); membandingkan dial kamu dari garis awal sampai akhir Part 2; mengecek sebulan kemudian apa yang tetap ada (form D, opsional).

Langkah 7 dari 7 · lapisan jaringan Proyek akhir dan bukti Selesaikan semua latihan 10 di tahap ini untuk mendapatkan layernya.