Müfredat 250 dersinden 105. · Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi
Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi

Bir Autograd Motoru Oluştur

Bir gradyanı elle hesapladın ve gradyan kontrolünden geçirdin. Gerçek ağların milyonlarca parametresi vardır, bu yüzden her birini elle türetemezsin. Derin öğrenmeyi mümkün kılan numara otomatik türevlemedir: her değer nasıl hesaplandığını hatırlar, ve gradyanlar o kayıt boyunca otomatik olarak geriye akar. Motoru kurmak üzeresin, PyTorch'un ve Karpathy'nin micrograd'ının içindeki aynı fikir, birkaç satırda.

Birim bir Value'dur: gradyanını da saklayan ve gradyanı girdilerine nasıl iteceğini bilen küçük bir fonksiyon tutan bir sayı. İki Value'yu topladığında ya da çarptığında sonuç ebeveynlerini kaydeder. Aşağıdaki iskele sana __init__'i ve grafiği doğru sırayla gezen bir backward() verir (bir topolojik sıralama, sonra çıktıdan geriye zincir kuralı). İki yerel gradyanı sen uygularsın, ki bütün ders budur:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Toplama gelen gradyanı iki girdiye de olduğu gibi kopyalar. Zincir kuralının devreye girdiği yer çarpmadır: d(a*b)/da = b ve d(a*b)/db = a, her biri yukarıdan akan gradyanla (out.grad) çarpılır. = değil, +='e dikkat et: birkaç yerde kullanılan bir değer her birinden gradyan biriktirir.

_backward kapanışları doğru yerel gradyanları ayarlasın diye __add__ ve __mul__'ü tamamla. Gizli testler ifadeler kurar, .backward()'ı çağırır, ve her sonucu sonlu bir farka karşı gradyan kontrolünden geçirir, bu yüzden yanlış bir kural geçemez. a*b + a boyunca geri yayılım yapmak için Çalıştır'a bas.

Senin sıran

Backprop'un doğru olması için Value sınıfının __add__ ve __mul__ kısımlarını tamamla. __add__'nin _backward kısmında, out.grad'yi HEM self.grad hem de other.grad'ye ekle (yerel türev 1). __mul__'nin _backward kısmında, other.data * out.grad'yi self.grad'ye ve self.data * out.grad'yi other.grad'ye ekle (çarpım kuralı). Tekrar kullanılan değerlerin gradyanı biriktirmesi için += kullan. Verilen backward() sıralamayı halleder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.