Jaringan Saraf: Dari Neuron ke Transformer
Bangun neural networks sendiri, dari satu neuron sampai ke transformer, lalu model generatif, diffusion, scaling laws dan melihat ke dalam model, pakai Python dan NumPy biasa, dilatih di browsermu. Tulis autograd milikmu sendiri, diagnosa jalannya yang rusak, nilai klaim dengan bukti, dan akhiri dengan capstone yang bisa kamu mainkan ulang. Gratis, tanpa akun.
Real Python dan NumPy sudah siap di tab ini.
Tanpa instalasi, tanpa akun, tanpa pengaturan. Setiap jaringan di kursus ini dilatih di perangkatmu sendiri, dan tidak ada yang kamu tulis keluar dari sana. Modul 1 mengasah Python dan NumPy yang kamu butuhkan. Sudah mahir? Pelajaran terakhirnya adalah gerbang singkat yang bisa kamu ambil pertama kali: lalui itu dan kursus akan langsung melanjutkannmu.
Tinjauan harian
Spaced repetition menjaga apa yang kamu pelajari agar tidak cepat lupa.
Modul 0: Baris awal
Kamu akan bisa: menjelaskan cara kerja kursus ini dan apa yang diukurnya; membuat prediksi dan mengeceknya dengan hasil jalannya program; mencatat skor awalmu pada keempat dial; mengukur kecepatan perangkatmu dalam FLOPs.
Modul 1: Python untuk kursus ini
Kamu akan bisa: menulis dan menguji fungsi pada list dan dictionary; menggunakan NumPy arrays, shapes, slicing, dan broadcasting sebagai pengganti loop; mengatur seed randomness agar bisa direproduksi; menulis class kecil dan closures. Diperiksa oleh Python gate (sudah mahir? kerjakan dulu: lulus akan melewati modul ini).
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Kamu akan bisa: menghitung dot products, matrix multiplies dan broadcasts; mencari slope dengan nudging dan chain rule, untuk angka dan untuk seluruh matriks; menjelaskan bagaimana spread bertambah dan apa fungsi eigenvalue; menurunkan softmax gradient; menulis log-sum-exp, softmax dan cross-entropy yang tidak pernah overflow (the gate).
Modul 3: Neuron ke MLP
Kamu akan bisa: membangun neuron, aktivasi, dan jaringan dua lapis di NumPy; menurunkan backprop secara manual dan mengeceknya dengan gradient checker; melatih pembaca digit hingga di atas 95%; membangun dan melatih jaringanmu sendiri untuk dataset baru (the gate).
Modul 4: Mesin autograd buatanmu sendiri
Kamu akan bisa: membangun engine autograd mode-reverse (graph, topological order, backward rules, broadcasting, reductions); mengeceknya dengan nudging; melatih network dengan itu tanpa gradient buatan tangan; menambahkan operasi baru sendirian (the gate).
Modul 5: Optimisasi
Kamu akan bisa: menjelaskan kenapa landscape yang melar itu lambat; membangun minibatch SGD, momentum, RMSProp, Adam dan AdamW, schedules dan clipping; memilih dan menyetel optimiser untuk masalah yang belum pernah kamu lihat, di bawah anggaran (the gate).
Modul 6: Bobot awal dan normalisasi
Kamu akan bisa: mengukur sinyal melalui kedalaman dan memilih skala Xavier, LeCun atau He; menemukan unit yang mati; membangun BatchNorm forward dan backward, LayerNorm dan RMSNorm; menghindari jebakan train/eval; menggunakan shortcut di jaringan deep.
Modul 7: Bekerja dengan data baru
Kamu akan bisa: mengukur over- dan underfitting, bias dan varians; menggunakan weight decay, dropout, augmentation dan early stopping; membaca double descent dan learning curves dengan jujur; menyetel model pada data validasi dan melaporkannya pada data held-out (the gate).
Modul 8: Jalankan Klinik I
Kamu akan bisa: menjalankan dua pengecekan pertama pada setiap training run; memilih probe yang membagi kemungkinan fault; mendiagnosis dan memperbaiki run yang rusak dengan perubahan kecil, dengan anggaran terbatas (the gate); menilai diagnosis pembantu AI berdasarkan bukti.
Modul 9: Apakah benar-benar lebih baik?
Kamu akan bisa: membagi data tanpa kebocoran; menggunakan precision dan recall; mengukur spread over seeds; memasang bootstrap error bars pada sebuah score; mengukur kalibrasi; membandingkan dua model dengan paired interval dan membuat keputusan (the gate).
Modul 10: Jaringan yang bisa melihat (CNNs)
Kamu akan bisa: membangun convolution, padding, pooling dan gradient mereka, serta im2col; melatih CNN pada house engine; membaca rekaman run berdasarkan seed; menguji saliency terhadap baseline; menggunakan transfer; merancang CNN di bawah anggaran bobot (the gate).
Modul 11: Jaringan dengan memori (RNNs)
Kamu akan bisa: membangun RNN dan model karakter; menurunkan backprop through time; mengukur vanishing gradients; membangun LSTM gates; membaca eksperimen recorded memory dan bottleneck; melakukan sampling dengan temperature; memperbaiki model recurrent yang rusak (the gate).
Modul 12: Kata sebagai angka (embeddings)
Kamu akan bisa: memperlakukan embedding sebagai lookup; membangun tokenizer penggabungan pasangan; membuat vektor kata dengan cara menghitung dan skip-gram; mengukur dan menghapus skew yang mereka salin; melakukan semuanya sendirian di dunia yang belum kamu lihat (the gate).
Modul 13: Attention dan transformers
Kamu akan bisa: membangun attention, causal mask, heads, positions, layer norm dan satu blok utuh yang mirip model asli; menurunkan backward pass attention; melatih GPT kecil; membaca recorded runs; melakukan generate dengan cache; memetakan engine kamu ke PyTorch; memperbaiki transformer yang rusak (the gate).
Modul 14: Jalankan Klinik II
Kamu akan bisa: mendiagnosis model sekuens yang rusak, termasuk cheat yang terlihat bagus, stall, ukuran langkah, dan kesalahan sampling; membaca rekaman jalannya yang gagal; menilai asisten AI berdasarkan bukti; mendiagnosis sendirian dengan anggaran terbatas (the gate); membandingkan ujian akhirmu dengan baseline milikmu.
Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)
Kamu akan bisa: memadatkan digit ke beberapa angka dan membangunnya kembali; menjelaskan, dengan pengukuran, mengapa autoencoder tidak bisa membuat digit baru; menghitung KL antara dua kurva lonceng dan ELBO; mengambil sampel dengan cara yang bisa kamu latih; melatih VAE yang membuat digit baru; berjalan di antara digit; mendiagnosis dan memperbaiki VAE yang kolaps sendirian (the gate).
Modul 16: Dua jaringan dalam sebuah game (GANs, opsional)
Modul opsional, tidak dibutuhkan untuk sertifikat. Kamu akan bisa: menulis GAN losses dan melihat dari kemiringannya kapan yang saturasi berhenti; melatih GAN pada delapan blobs dan menilai cakupannya; membuat mode collapse terjadi; menguji trik stabilisasi pada seeds yang dicatat dan melaporkan apa yang membantu; menjalankan convolutional generator; menyelamatkan GAN yang rusak sendirian (the gate).
Modul 17: Masukan noise, keluaran gambar (diffusion)
Kamu akan bisa: menambah noise dengan jadwal, langkah demi langkah dan sekaligus; membaca kembali panah jaringan ke data; melatih noise predictor; melakukan sampling dengan DDPM dan menjelaskan mengapa estimasi bersih terpotong; membandingkan jadwal noise dan input waktu dengan pengukuran; membangun U-Net; melakukan sampling dalam lebih sedikit langkah dengan DDIM; mengarahkan sampel dengan classifier-free guidance; melakukan fine-tune pada model yang sudah dilatih; menyesuaikan bentuk baru sendirian (gate).
Modul 18: Belajar tanpa label
Kamu akan bisa: menilai fitur dengan kesepakatan tetangga terdekat dan dengan linear probe yang kamu tulis; melakukan pretrain dengan masked prediction; menulis InfoNCE dan menjelaskan kenapa itu adalah cross-entropy; melakukan pretrain dengan SimCLR dan membaca apa yang diputuskan oleh augmentasi nya; mencocokkan caption dengan gambar (opsional); menguji fitur pada objek yang tidak pernah dilihat model, sendirian (the gate).
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Kamu akan bisa: menghitung biaya training run dalam FLOPs; mencocokkan power law dengan floor dan error bars; membaca apakah weights atau data yang membatasi sebuah run; merencanakan ukuran model terbaik untuk budget tetap; memprediksi run yang lebih besar dan mengeceknya; membedakan lonjakan nyata dari metrik yang membuatnya; merencanakan sebuah run sendirian (the gate).
Modul 20: Mengadaptasi model yang sudah dilatih dengan murah
Kamu akan bisa: menunjukkan catastrophic forgetting; menghitung, membangun, dan melakukan gradient-check pada LoRA; memilih rank nya dari hasil pengukuran; melakukan fine-tune pada model dengan teksmu sendiri tanpa merusaknya; menentukan kapan distillation membantu; melakukan quantise pada weights dan memprediksi biayanya; mengatur preferensi dengan DPO dan berhenti tepat waktu; memilih metode untuk suatu situasi; mencapai target adaptasi dengan anggaran terbatas sendirian (the gate).
Modul 21: Melihat ke dalam sebuah model
Kamu akan bisa: menentukan apakah bukti tentang bagian dalam model adalah pola, efek, atau mekanisme; menjalankan probe dengan kontrol; melakukan patch pada aktivasi untuk mencari di mana informasi berada; menghapus bagian dan memeriksa cadangan; menguji mekanisme buku teks pada model di depanmu; menunjukkan superposisi pada mainan; melatih sparse autoencoder dan menguji label fitur pada teks yang belum dilihat; membaca grokking dari jalannya rekaman dan memeriksa gelombangnya dengan menghapusnya; menemukan di mana informasi berada pada input baru saja (gate).
Modul 22: Menilai klaim
Kamu akan bisa: menemukan set pengujian yang bocor melalui tumpang tindih dan melaporkan skor bersih; membagi rata-rata loss pada bagian yang penting; menjelaskan perbedaan antara zero dan mean ablation serta melaporkan metodenya; membedakan perbedaan satu seed dari yang terukur dengan standar error; mereplikasi hasil pada seed baru dan menemukan pengaturan di mana itu berhenti berlaku; meninjau klaim sendirian (gate).
Modul 23: Capstone studio: kartu model yang bisa kamu jalankan
Kamu akan bisa: merencanakan proyek dengan anggaran FLOP; memanggil dan menjalankan baseline di atas seeds; menilai perubahan dengan error bars; menemukan bug yang masih melakukan training dengan gradient checking; membuat temuan di dalam modelmu terhadap kontrol yang tidak dilatih; mengevaluasi sekali pada hidden set dengan error bars; menulis model card yang setiap angkanya cocok dengan run log milikmu; mengekspor satu file offline yang menjalankan ulang runs.
Modul 24: Ujian akhir dan ujian ulang
Kamu akan bisa: menunjukkan, dengan AI dimatikan, apa yang diajarkan Part 2 pada keempat dial (form C); membandingkan dial kamu dari garis awal sampai akhir Part 2; mengecek sebulan kemudian apa yang tetap ada (form D, opsional).
Cuma kamu yang bisa mencetak atau menyimpan ini. Tautan disimpan di browser ini. Untuk memperlihatkan ke orang lain, bagikan tautan verifikasi dari sertifikat.