Kurs boyunca kullanacağın bir gradyan denetleyicisi
Neden önemli Yanlış bir gradyan çökmeye yol açmaz. Eğitim sadece sessizce kötü gider. Bir gradyan denetleyicisi hatayı saniyeler içinde yakalar, ve bunu her modülde kullanacaksın.
Fikir, Modül 2'nin itmesinin her ağırlık için yapılmasıdır: i ağırlığını h kadar yukarı ve aşağı it, iki seferde de kaybı ölç ve farkı 2h'ye böl. Formülünün gradyanıyla karşılaştır.
Yakın ne kadar yakındır?
Göreli hatayı kullan: |a - b| bölü |a| ve |b|'nin büyüğü (ya da ikisi de minicikse 1e-8). 1e-6'nın altı geçer; 1e-3'ün üstü neredeyse her zaman bir hata demektir.
Gradyan kontrolü: analitik bir gradyanı (formülünden) sayısal olanla (itmeden) karşılaştırmak.
Özet Yavaş ama güvenilir hakem. Yeni bir gradyana güvenmeden önce onu kullan.
Bu dersteki kelimeler ve semboller
- öğrenme oranı (lr)
- her eğitim adımının ne kadar büyük olduğu
- gradyan kontrolü
- gradyan formülünü bir it-ve-ölç tahminiyle karşılaştırmak
numeric_grad(f, w, h=1e-5) (w herhangi bir şekilde bir NumPy dizisidir; aynı şekilde bir dizi döndür) ve en büyük göreli hatayı döndüren grad_check(f, grad, w) yaz. Burada f(w) ağırlık dizisini alır ve kaybı tek bir sayı olarak döndürür, grad ise bir fonksiyon değil, bir dizidir (formülünün w'deki, zaten hesaplanmış gradyanı). w'yi kalıcı olarak değiştirme. Herhangi bir şekildeki bir dizinin her konumunu ziyaret etmek için for idx in np.ndindex(w.shape): her indeks demetini sırayla verir. Gizli test denetleyicine üç ince yanlış gradyan verir; her biri 1e-3'ün üstünde puan almalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.