Silabus Pelajaran 105 dari 250 · Intuisi Neural-Net, LLM & Capstone AI
Intuisi Neural-Net, LLM & Capstone AI

Bangun Engine Autograd

Kamu menghitung satu gradient secara manual dan melakukan gradient-check. Jaringan nyata punya jutaan parameter, jadi kamu tidak bisa menurunkan setiap parameter secara manual. Trik yang membuat deep learning menjadi mungkin adalah automatic differentiation: setiap nilai mengingat bagaimana ia dihitung, dan gradient mengalir mundur melalui catatan itu secara otomatis. Kamu akan membangun mesinnya, ide yang sama di dalam PyTorch dan micrograd milik Karpathy, dalam beberapa baris kode.

Unit ini adalah Value: sebuah angka yang juga menyimpan gradient dan fungsi kecil yang tahu cara mendorong gradient ke inputnya. Saat kamu menambah atau mengalikan dua Value, hasilnya mencatat induknya. Kerangka di bawah memberikan kamu __init__ dan backward() yang menyusuri graf dengan urutan yang benar (sort topologi, lalu chain-rule dari output kembali). Kamu mengimplementasikan dua gradient lokal, yang merupakan seluruh pelajaran:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Addition cuma menyalin gradient yang masuk ke kedua input. Perkalian adalah tempat aturan rantai bekerja: d(a*b)/da = b dan d(a*b)/db = a, masing-masing dikali gradient yang mengalir dari atas (out.grad). Perhatikan +=, bukan =: nilai yang digunakan di beberapa tempat mengumpulkan gradient dari masing-masing.

Selesaikan __add__ dan __mul__ agar _backward closure mereka mengatur gradien lokal yang benar. Tes tersembunyi membangun ekspresi, memanggil .backward(), dan gradient-check setiap hasil terhadap finite difference, jadi aturan yang salah tidak bisa lolos. Tekan Run untuk backprop melalui a*b + a.

Giliranku

Selesaikan __add__ dan __mul__ dari kelas Value supaya backprop benar. Di _backward milik __add__, tambahkan out.grad ke self.grad dan other.grad (turunan lokal 1). Di _backward milik __mul__, tambahkan other.data * out.grad ke self.grad dan self.data * out.grad ke other.grad (aturan perkalian). Gunakan += supaya nilai yang dipakai ulang mengakumulasi gradien. backward() yang diberikan menangani urutannya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.