Müfredat 246 dersinden 84. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

Kısayollar (artık bağlantılar)

Neden önemli Artık bağlantılar, yüzlerce katmanlı ağların hiç eğitilebilmesinin nedenidir. Her transformer bloğu onları kullanır.

Düz bir katman girdisinin yerini alır: h = f(h). Bir artık blok ona ekler: h = h + f(h). f yararlı bir şey öğrenmezse blok h'yi değiştirmeden geçirir, bu yüzden fazladan derinlik başlangıçta işleri asla kötüleştiremez. Ve geri dönüş yolunda gradyanın "+ h" yolu boyunca katmanı tamamen atlayan doğrudan bir rotası vardır, bu yüzden kaybolamaz.

Aşağıdaki deney hakkında adil bir uyarı: iki ağ da aynı, kasıtlı olarak küçük ağırlıklardan, N(0, 0.1)'den başlıyor. Düz ağı batıran bu başlangıç. Bu modülün başındaki He başlangıç ağırlıklarıyla düz 30 katmanlı ağ da eğitilir (kursun çalıştırmalarında 6 tohumdan 5'inde). Kısayolların eklediği sağlamlıktır: kötü bir başlangıçtan bile eğitilirler ve dikkatli başlangıç ağırlıklarının tek başına yetmediği derinliklerde çalışmaya devam ederler.

Burada her bloğun katkısı ayrıca 1 / derinlik ile ölçekleniyor, 30 toplamanın sinyali patlatmaması için yaygın bir hile.

Artık bağlantı (ya da atlama bağlantısı, kısayol): bir bloğun girdisini çıktısına eklemek.

Eğriyi Tahmin Et: 150 adımdan sonra düz ağ ve kısayollu ağ için son kaybı tahmin et. (0.693'lük bir kayıp bu iki sınıflı görevde yazı tura demektir.)

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
artık bağlantı
bir bloğun girdisini çıktısına eklemek: h + f(h)
Senin sıran

my_guess doldur. Sonra block(h, W, b, shortcuts, depth) yaz: kısayolsuz relu(h @ W + b) döndür; kısayollu h + relu(h @ W + b) * (1 / depth) döndür. Test iki 30 katmanlı ağı da aynı küçük başlangıç ağırlıklarından eğitir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.