Müfredat 246 dersinden 46. · Modül 3: Nörondan MLP'ye
Modül 3: Nörondan MLP'ye

Kurs boyunca kullanacağın bir gradyan denetleyicisi

Neden önemli Yanlış bir gradyan çökmeye yol açmaz. Eğitim sadece sessizce kötü gider. Bir gradyan denetleyicisi hatayı saniyeler içinde yakalar, ve bunu her modülde kullanacaksın.

Fikir, Modül 2'nin itmesinin her ağırlık için yapılmasıdır: i ağırlığını h kadar yukarı ve aşağı it, iki seferde de kaybı ölç ve farkı 2h'ye böl. Formülünün gradyanıyla karşılaştır.

Yakın ne kadar yakındır?

Göreli hatayı kullan: |a - b| bölü |a| ve |b|'nin büyüğü (ya da ikisi de minicikse 1e-8). 1e-6'nın altı geçer; 1e-3'ün üstü neredeyse her zaman bir hata demektir.

Gradyan kontrolü: analitik bir gradyanı (formülünden) sayısal olanla (itmeden) karşılaştırmak.

Özet Yavaş ama güvenilir hakem. Yeni bir gradyana güvenmeden önce onu kullan.

Bu dersteki kelimeler ve semboller
öğrenme oranı (lr)
her eğitim adımının ne kadar büyük olduğu
gradyan kontrolü
gradyan formülünü bir it-ve-ölç tahminiyle karşılaştırmak
Senin sıran

numeric_grad(f, w, h=1e-5) (w herhangi bir şekilde bir NumPy dizisidir; aynı şekilde bir dizi döndür) ve en büyük göreli hatayı döndüren grad_check(f, grad, w) yaz. Burada f(w) ağırlık dizisini alır ve kaybı tek bir sayı olarak döndürür, grad ise bir fonksiyon değil, bir dizidir (formülünün w'deki, zaten hesaplanmış gradyanı). w'yi kalıcı olarak değiştirme. Herhangi bir şekildeki bir dizinin her konumunu ziyaret etmek için for idx in np.ndindex(w.shape): her indeks demetini sırayla verir. Gizli test denetleyicine üç ince yanlış gradyan verir; her biri 1e-3'ün üstünde puan almalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.