Bangun Engine Autograd
Kamu menghitung satu gradient secara manual dan melakukan gradient-check. Jaringan nyata punya jutaan parameter, jadi kamu tidak bisa menurunkan setiap parameter secara manual. Trik yang membuat deep learning menjadi mungkin adalah automatic differentiation: setiap nilai mengingat bagaimana ia dihitung, dan gradient mengalir mundur melalui catatan itu secara otomatis. Kamu akan membangun mesinnya, ide yang sama di dalam PyTorch dan micrograd milik Karpathy, dalam beberapa baris kode.
Unit ini adalah Value: sebuah angka yang juga menyimpan gradient dan fungsi kecil yang tahu cara mendorong gradient ke inputnya. Saat kamu menambah atau mengalikan dua Value, hasilnya mencatat induknya. Kerangka di bawah memberikan kamu __init__ dan backward() yang menyusuri graf dengan urutan yang benar (sort topologi, lalu chain-rule dari output kembali). Kamu mengimplementasikan dua gradient lokal, yang merupakan seluruh pelajaran:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return outAddition cuma menyalin gradient yang masuk ke kedua input. Perkalian adalah tempat aturan rantai bekerja: d(a*b)/da = b dan d(a*b)/db = a, masing-masing dikali gradient yang mengalir dari atas (out.grad). Perhatikan +=, bukan =: nilai yang digunakan di beberapa tempat mengumpulkan gradient dari masing-masing.
Selesaikan __add__ dan __mul__ agar _backward closure mereka mengatur gradien lokal yang benar. Tes tersembunyi membangun ekspresi, memanggil .backward(), dan gradient-check setiap hasil terhadap finite difference, jadi aturan yang salah tidak bisa lolos. Tekan Run untuk backprop melalui a*b + a.
Selesaikan __add__ dan __mul__ dari kelas Value supaya backprop benar. Di _backward milik __add__, tambahkan out.grad ke self.grad dan other.grad (turunan lokal 1). Di _backward milik __mul__, tambahkan other.data * out.grad ke self.grad dan self.data * out.grad ke other.grad (aturan perkalian). Gunakan += supaya nilai yang dipakai ulang mengakumulasi gradien. backward() yang diberikan menangani urutannya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.