Gerilmiş bir kâse neden yavaştır (koşullanma)
Neden önemli Gerçek kayıp yüzeyleri bazı yönlerde dik, bazılarında neredeyse düzdür. Düz gradyan inişini yavaşlatan şey ağırlıkların sayısı değil, bu uyumsuzluktur.
Gör
f = (k x squared + y squared) / 2 al. k = 1 ile yuvarlak bir kâsedir. k = 100 ile uzun ince bir vadidir: enine dik, boyuna yumuşak. Öğrenme oranı iki yöne birden uymak zorundadır. En iyi tek seçim, lr = 2 / (k + 1), her adımın iki yönde de uzaklığın (k - 1) / (k + 1)'ini korumasını sağlar: k = 100 iken 0.98'ini. Daha büyüğü dik yönü aşar ve daha yavaş oturur (2 / k'nin üstünde sınırsız büyür); daha küçüğü yumuşak yönü daha da yavaş süründürür. Bu yüzden yürüyüş vadi boyunca sürünürken onun enine zikzak çizer.
Koşul sayısı: en dik eğriliğin en yumuşak eğriliğe oranı, burada k. Düz gradyan inişi iyi ilerleme kaydetmek için kabaca k adıma ihtiyaç duyar.
Eğriyi Tahmin Et: çalıştırmadan önce, en iyi sabit öğrenme oranını, 2 / (k + 1), kullanarak k = 1, 10 ve 100 için dibe 0.001 yakınlığa gelmenin kaç adım sürdüğünü tahmin et.
Özet Germe, düz inişi germeyle orantılı olarak yavaşlatır.
Bu dersteki kelimeler ve semboller
- koşul sayısı
- en dik yönün en yumuşak yönden ne kadar dik olduğu
my_guess doldur (üç adım sayısı), sonra steps_to_converge(k) yaz: (1, 1)'den başla, lr = 2 / (k + 1) kullan ve (0, 0)'a uzaklık 0.001'in altına düşene kadar adımları say (100.000'de dur).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.