Müfredat 250 dersinden 104. · Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi
Neural-Net Sezgisi, LLM'ler ve Yapay Zeka Bitirme Projesi

Geri Yayılım ve Gradyan Kontrolü

Ağırlıkları aşağı doğru iterek oyuncak bir model eğittin. Peki gradyanlar nereden geliyor ve doğrularından nasıl emin oluyorsun? Bu ders her ikisini de yanıtlıyor ve ikinci cevap, gradient checking, çalışan sinir ağlarını sessizce bozuk olanlardan ayıran tek alışkanlıktır.

Backprop sadece zincir kuralıdır. Küçük bir model üzerinden bir örnek al: z = w * x tahmin et, sonra L = (z - y)**2 kare hatasını ölç. w geliştirmek için dL/dw gerekiyor. İki adımda hesapla ve çarp:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Bu ürün aslında küçük ölçekli bir backpropagation: her katman, geriye doğru akan gradient ile kendi yerel türevini çarpıyor. Bunlardan bir milyon tane üst üste koyduğunda derin bir ağ elde edersin.

Şimdi, formülün doğru mu? Sayısal olarak doğrula. Bir türevin tanımı küçük bir itmedir, bu yüzden onu bir merkezi sonlu fark ile tahmin et ve analitik gradyanın eşleştiğini kontrol et:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Eğer anlaşmazlarsa, backward pass kısmında bir hata var, her ciddi DL kod tabanı tam olarak bu sebeple gradient-check yapar.

İki fonksiyon oluştur. loss(w, x, y) (w*x - y)**2 döndürür. grad(w, x, y) analitik gradyanı dL/dw = 2*(w*x - y)*x döndürür. Gizli testler, grad değerini birçok rastgele noktadaki kendi loss değerinin sonlu farkıyla gradyan kontrolünden geçirecek, bu yüzden yanlış bir formül geçemez. Analitik ve sayısal değerlerin eşleştiğini görmek için Run tuşuna bas.

Senin sıran

loss(w, x, y) fonksiyonunu (w*x - y)**2 kare hatasını döndürecek şekilde, grad(w, x, y) fonksiyonunu ise zincir kuralına göre 2*(w*x - y)*x olan w'ye göre analitik gradyanını döndürecek şekilde yaz. grad değerin, kendi loss değerinin birçok rastgele noktadaki merkezi sonlu farkı ile gradyan kontrolünden geçecek, bu yüzden bir yaklaşım veya sabit değil, gerçek türev olmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.