Sinyalleri sabit tutan ölçek (Xavier ve He)
Neden önemli "Başlangıç ağırlıkları ne kadar büyük olmalı" sorusunun kesin bir cevabı var. Onu kullan, derin ağlar eğitilebilir olur.
Küçük sayılar
Bir katmanın bir çıktısı, bir girdi ile bir ağırlığın n_in çarpımını toplar. Girdilerin yayılımı 1 ve ağırlıkların yayılımı s ise, böyle n_in terimin toplamının yayılımı s çarpı sqrt(n_in)'dir (varyanslar toplanır: Modül 2, "Yayılım nasıl toplanır"). Onu 1'de tutmak için s = 1 / sqrt(n_in) seç. Bu LeCun başlatmasıdır. Xavier (Glorot da denir) başlatması ayrıca n_out'a bağlı olan geri dönüş yolundaki gradyanları da sabit tutar, bu yüzden farkı paylaştırır: s = sqrt(2 / (n_in + n_out)). n_in, n_out'a eşit olduğunda ikisi aynıdır. İkisi de tanh'a uygundur.
ReLU negatif yarıyı atar, bu da ortalama kare boyutu yarıya indirir. Bunu iki kat varyansla telafi et: s = sqrt(2 / n_in). Bu ReLU için doğru olan He başlatmasıdır. 100 genişlikte He, sqrt(0.02) = 0.141 verir: tam olarak son dersteki "ok" ölçeği.
Özet tanh: Xavier, sqrt(2 / (n_in + n_out)), ya da LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Bu dersteki kelimeler ve semboller
- başlatma
- eğitim başlamadan önce ağırlıkların nasıl ayarlandığı
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
Ağırlık matrisleri döndüren xavier(n_in, n_out, rng) ve he(n_in, n_out, rng) yaz. He ağırlıklarıyla, 256 genişlikte 20 ReLU katmanından sonra aktivasyon yayılımı 0.2 ile 5 arasında kalmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.