Hızla bir öğrenme oranı bulmak, ve sıçramaları kırpmak
Neden önemli Öğrenme oranlarını tahmin etmek günler harcatır. Tek bir kısa çalıştırma sana iyisini söyler. Ve adımı sınırlamazsan tek bir kötü batch bir çalıştırmayı patlatabilir.
Aralık testi
Birkaç yüz adım boyunca, öğrenme oranını her adımda biraz, minicikten devasaya artırarak eğit ve kaybı kaydet. Önce hiçbir şey olmaz; sonra kayıp hızla düşer; sonra patlar. İyi bir öğrenme oranı kaybın en hızlı düştüğü yerde, patlamanın biraz altında durur. Yaygın bir kural: kaybın en düşük olduğu oranı al ve 10'a böl.
Kırpma
Gradyanın toplam boyutu (uzunluğu, ya da normu) bir sınırın üstündeyse, bütün gradyanı o uzunluğa küçült. Yön korunur; yalnızca nadir bir dev adım evcilleştirilir.
Gradyan normu: bütün gradyanların tek uzun bir vektör olarak alınmış uzunluğu: karelerinin toplamının karekökü.
Bu dersteki kelimeler ve semboller
- gradyan normu, kırpma
- gradyanın toplam boyutu, ve onu sınırlamak
pick_lr(lrs, losses) yaz: kaybın en düşük olduğu öğrenme oranı, 10'a bölünmüş. Ve clip(grads, max_norm): grads bir diziler listesidir; birleşik normları max_norm'un üstündeyse, hepsini norm max_norm'a eşit olacak şekilde ölçeklenmiş döndür, değilse değiştirmeden döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.