Müfredat 246 dersinden 95. · Modül 8: Çalıştırma Kliniği I
Modül 8: Çalıştırma Kliniği I

Kendi yoklamaların

Neden önemli Yoklamalar bir çalıştırmanın içini görme yoludur. Onları kendin yazmak, bir araç onları sana gösterdiğinde sayıların ne anlama geldiğini bileceğin anlamına gelir.

Üç yoklama işin çoğunu yapar:

  • Katman başına gradyan boyutu: her ağırlık matrisinin gradyanının uzunluğu (normu). Hepsi sıfır: hiçbir şey öğrenmez. Katmanlar arasında çılgınca farklı: bir katman aç kalmış.
  • Ölü payı: bir batch'teki her örnek için sıfır çıktı veren gizli birimlerin oranı.
  • Güncelleme-ağırlık oranı: öğrenme oranı çarpı gradyan boyutu, bölü ağırlık boyutu. Bir adımın her ağırlığın ne kadarını değiştirdiğini söyler. Yaklaşık 0.001 ile 0.1 arası sağlıklıdır; 1'e yakın her adımın ağırlıkları yeniden yazdığı, 0'a yakın hiçbir şeyin kıpırdamadığı anlamına gelir.

Düzenek iç yapısını açıyor: _data(c) eğitim verisini, _init(c) başlangıç ağırlıklarını verir, ve _fb(p, X, y, c) (kayıp, gradyanlar, gizli aktivasyonlar) döndürür.

Bu dersteki kelimeler ve semboller
yoklama
gradyan boyutları ya da ölü birimler gibi bir çalıştırmanın hızlı bir ölçümü
güncelleme-ağırlık oranı
bir adımın her ağırlığı, boyutuna göre ne kadar değiştirdiği
Senin sıran

İlk 256 eğitim örneğini ve başlangıç ağırlıklarını kullanarak my_grad_norms(c), my_dead_share(c) ve my_update_ratio(c) yaz. Kliniğin yoklamalarıyla eşleşmeleri gerekir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.