Adam: bola ditambah tombolnya
Kenapa ini penting Adam adalah optimiser default untuk sebagian besar deep learning. Ini adalah gabungan momentum dan RMSProp, ditambah satu koreksi kecil yang sangat berpengaruh di awal.
Angka kecil dulu
Satu bobot, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Gradien pada langkah 1 adalah 2.0. Rata-rata berjalan dari gradien, m, dimulai dari 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Tapi gradien terbaru yang sebenarnya adalah 2, bukan 0.2: m condong ke nol awal. Bagi dengan (1 - 0.9 pangkat t) untuk memperbaikinya: 0.2 / 0.1 = 2.0. Koreksi yang sama untuk rata-rata kuadrat v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.
Tanpa koreksi, langkah pertama akan menjadi 0.1 * 0.2 / sqrt(0.004) = 0.32, lebih dari tiga kali terlalu besar, dan di jaringan nyata langkah awal yang liar itu bisa merusak awal pelatihan.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Koreksi bias: membagi dengan (1 - beta pangkat t) supaya rata-rata yang dimulai dari nol tidak dinilai terlalu rendah pada langkah awal. t menghitung langkah dari 1.
Kata dan simbol di pelajaran ini
- momentum (beta)
- menjaga bagian kecepatan langkah terakhir
- RMSProp
- membagi langkah setiap bobot dengan seberapa besar gradiennya biasanya
- Adam (m, v, t)
- momentum (m) ditambah knob volume per-weight (v), dikoreksi untuk langkah awal (t)
Pertama isi first_step_with dan first_step_without: ukuran langkah 1 pada contoh di atas, dengan dan tanpa koreksi bias. Lalu tulis kelas Adam(lr, b1=0.9, b2=0.999, eps=1e-8) dengan metode step(p, g) yang mengembalikan array parameter yang diperbarui.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.