Geri Yayılım ve Gradyan Kontrolü
Ağırlıkları aşağı doğru iterek oyuncak bir model eğittin. Peki gradyanlar nereden geliyor ve doğrularından nasıl emin oluyorsun? Bu ders her ikisini de yanıtlıyor ve ikinci cevap, gradient checking, çalışan sinir ağlarını sessizce bozuk olanlardan ayıran tek alışkanlıktır.
Backprop sadece zincir kuralıdır. Küçük bir model üzerinden bir örnek al: z = w * x tahmin et, sonra L = (z - y)**2 kare hatasını ölç. w geliştirmek için dL/dw gerekiyor. İki adımda hesapla ve çarp:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xBu ürün aslında küçük ölçekli bir backpropagation: her katman, geriye doğru akan gradient ile kendi yerel türevini çarpıyor. Bunlardan bir milyon tane üst üste koyduğunda derin bir ağ elde edersin.
Şimdi, formülün doğru mu? Sayısal olarak doğrula. Bir türevin tanımı küçük bir itmedir, bu yüzden onu bir merkezi sonlu fark ile tahmin et ve analitik gradyanın eşleştiğini kontrol et:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsEğer anlaşmazlarsa, backward pass kısmında bir hata var, her ciddi DL kod tabanı tam olarak bu sebeple gradient-check yapar.
İki fonksiyon oluştur. loss(w, x, y) (w*x - y)**2 döndürür. grad(w, x, y) analitik gradyanı dL/dw = 2*(w*x - y)*x döndürür. Gizli testler, grad değerini birçok rastgele noktadaki kendi loss değerinin sonlu farkıyla gradyan kontrolünden geçirecek, bu yüzden yanlış bir formül geçemez. Analitik ve sayısal değerlerin eşleştiğini görmek için Run tuşuna bas.
loss(w, x, y) fonksiyonunu (w*x - y)**2 kare hatasını döndürecek şekilde, grad(w, x, y) fonksiyonunu ise zincir kuralına göre 2*(w*x - y)*x olan w'ye göre analitik gradyanını döndürecek şekilde yaz. grad değerin, kendi loss değerinin birçok rastgele noktadaki merkezi sonlu farkı ile gradyan kontrolünden geçecek, bu yüzden bir yaklaşım veya sabit değil, gerçek türev olmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.