Silabus Pelajaran 70 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

Adam: bola ditambah tombolnya

Kenapa ini penting Adam adalah optimiser default untuk sebagian besar deep learning. Ini adalah gabungan momentum dan RMSProp, ditambah satu koreksi kecil yang sangat berpengaruh di awal.

Angka kecil dulu

Satu bobot, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Gradien pada langkah 1 adalah 2.0. Rata-rata berjalan dari gradien, m, dimulai dari 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Tapi gradien terbaru yang sebenarnya adalah 2, bukan 0.2: m condong ke nol awal. Bagi dengan (1 - 0.9 pangkat t) untuk memperbaikinya: 0.2 / 0.1 = 2.0. Koreksi yang sama untuk rata-rata kuadrat v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.

Tanpa koreksi, langkah pertama akan menjadi 0.1 * 0.2 / sqrt(0.004) = 0.32, lebih dari tiga kali terlalu besar, dan di jaringan nyata langkah awal yang liar itu bisa merusak awal pelatihan.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Koreksi bias: membagi dengan (1 - beta pangkat t) supaya rata-rata yang dimulai dari nol tidak dinilai terlalu rendah pada langkah awal. t menghitung langkah dari 1.

Kata dan simbol di pelajaran ini
momentum (beta)
menjaga bagian kecepatan langkah terakhir
RMSProp
membagi langkah setiap bobot dengan seberapa besar gradiennya biasanya
Adam (m, v, t)
momentum (m) ditambah knob volume per-weight (v), dikoreksi untuk langkah awal (t)
Giliranku

Pertama isi first_step_with dan first_step_without: ukuran langkah 1 pada contoh di atas, dengan dan tanpa koreksi bias. Lalu tulis kelas Adam(lr, b1=0.9, b2=0.999, eps=1e-8) dengan metode step(p, g) yang mengembalikan array parameter yang diperbarui.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.