Müfredat 246 dersinden 73. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Hızla bir öğrenme oranı bulmak, ve sıçramaları kırpmak

Neden önemli Öğrenme oranlarını tahmin etmek günler harcatır. Tek bir kısa çalıştırma sana iyisini söyler. Ve adımı sınırlamazsan tek bir kötü batch bir çalıştırmayı patlatabilir.

Aralık testi

Birkaç yüz adım boyunca, öğrenme oranını her adımda biraz, minicikten devasaya artırarak eğit ve kaybı kaydet. Önce hiçbir şey olmaz; sonra kayıp hızla düşer; sonra patlar. İyi bir öğrenme oranı kaybın en hızlı düştüğü yerde, patlamanın biraz altında durur. Yaygın bir kural: kaybın en düşük olduğu oranı al ve 10'a böl.

Kırpma

Gradyanın toplam boyutu (uzunluğu, ya da normu) bir sınırın üstündeyse, bütün gradyanı o uzunluğa küçült. Yön korunur; yalnızca nadir bir dev adım evcilleştirilir.

Gradyan normu: bütün gradyanların tek uzun bir vektör olarak alınmış uzunluğu: karelerinin toplamının karekökü.

Bu dersteki kelimeler ve semboller
gradyan normu, kırpma
gradyanın toplam boyutu, ve onu sınırlamak
Senin sıran

pick_lr(lrs, losses) yaz: kaybın en düşük olduğu öğrenme oranı, 10'a bölünmüş. Ve clip(grads, max_norm): grads bir diziler listesidir; birleşik normları max_norm'un üstündeyse, hepsini norm max_norm'a eşit olacak şekilde ölçeklenmiş döndür, değilse değiştirmeden döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.