Kısayollar (artık bağlantılar)
Neden önemli Artık bağlantılar, yüzlerce katmanlı ağların hiç eğitilebilmesinin nedenidir. Her transformer bloğu onları kullanır.
Düz bir katman girdisinin yerini alır: h = f(h). Bir artık blok ona ekler: h = h + f(h). f yararlı bir şey öğrenmezse blok h'yi değiştirmeden geçirir, bu yüzden fazladan derinlik başlangıçta işleri asla kötüleştiremez. Ve geri dönüş yolunda gradyanın "+ h" yolu boyunca katmanı tamamen atlayan doğrudan bir rotası vardır, bu yüzden kaybolamaz.
Aşağıdaki deney hakkında adil bir uyarı: iki ağ da aynı, kasıtlı olarak küçük ağırlıklardan, N(0, 0.1)'den başlıyor. Düz ağı batıran bu başlangıç. Bu modülün başındaki He başlangıç ağırlıklarıyla düz 30 katmanlı ağ da eğitilir (kursun çalıştırmalarında 6 tohumdan 5'inde). Kısayolların eklediği sağlamlıktır: kötü bir başlangıçtan bile eğitilirler ve dikkatli başlangıç ağırlıklarının tek başına yetmediği derinliklerde çalışmaya devam ederler.
Burada her bloğun katkısı ayrıca 1 / derinlik ile ölçekleniyor, 30 toplamanın sinyali patlatmaması için yaygın bir hile.
Artık bağlantı (ya da atlama bağlantısı, kısayol): bir bloğun girdisini çıktısına eklemek.
Eğriyi Tahmin Et: 150 adımdan sonra düz ağ ve kısayollu ağ için son kaybı tahmin et. (0.693'lük bir kayıp bu iki sınıflı görevde yazı tura demektir.)
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
- artık bağlantı
- bir bloğun girdisini çıktısına eklemek: h + f(h)
my_guess doldur. Sonra block(h, W, b, shortcuts, depth) yaz: kısayolsuz relu(h @ W + b) döndür; kısayollu h + relu(h @ W + b) * (1 / depth) döndür. Test iki 30 katmanlı ağı da aynı küçük başlangıç ağırlıklarından eğitir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.