Müfredat 246 dersinden 68. · Modül 5: Optimizasyon
Modül 5: Optimizasyon

Ağır bir top (momentum)

Neden önemli Momentum gerilmiş vadiler için tek başına en yararlı çözümdür, ve kullanacağın neredeyse her optimizasyoncuda vardır.

Önce gör

Animasyonu oynat. Düz gradyan inişi vadinin enine zikzak çizer. Ağır bir top önceki hızının bir kısmını korur: zikzaklar birbirini götürür (sol, sağ, sol), vadi boyunca süren sabit yokuş aşağı çekiş ise adım adım toplanır. Böylece vadi tabanı boyunca hızlanır.

Adını koy

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

beta = 0.9 ile top kabaca son 10 itişi hatırlar.

Düz iniş burada neden yavaş

Bu kâsede dik yön yumuşak olandan 50 kat diktir. Düz inişin öğrenme oranı dik yön tarafından sınırlanır: 2/50 = 0.04'ün üstünde vadinin enine adımlar büyür ve patlar. Sınırın hemen altında, 0.039'da, vadinin enine zikzak çizer (her adım aşar ve öbür tarafa düşer) ve boyuna sürünür, çünkü 0.039 yumuşak yön için minicik bir orandır. Momentum daha büyük bir oran kullanıp vadi boyunca hızını koruyabilir: dik yönde o da aşar, ama bu salınımlar birbirini götürürken taban boyunca itişler toplanır.

(Tam lr = 1/50 = 0.02'de hiç zikzak yoktur: tek bir adım vadi tabanına düşer, gerisi yavaş sürünmedir. Dene.)

(Sahne, yolları ekrana sığsın diye beta 0.5 ile, enine 25 kat dik, daha yumuşak bir vadi çiziyor; bu dersteki sayılar kodladığın 50 katlık vadi içindir.)

Momentum: zikzakları yumuşatan ve tutarlı yönlerde hız kazandıran, son gradyanların akan bir toplamı.

Bu dersteki kelimeler ve semboller
momentum (beta)
son adımın hızının bir kısmını korumak
Senin sıran

steps_plain(lr) ve steps_momentum(lr, beta) yaz: gerilmiş kâsede (1, 1)'den başlayarak dibe uzaklık 0.001'in altına düşene kadar adımları say (en fazla 20.000). Her birine kendi iyi ayarlarını ver: düz iniş sınırının hemen altında lr 0.039'da, momentum ise lr 0.06 ve beta 0.6 ile. Momentum adımların en fazla üçte birine ihtiyaç duymalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.