Permukaan loss yang bisa kamu jelajahi
Kenapa ini penting Setiap optimiser adalah cara berbeda untuk berjalan turun di lanskap yang tidak bisa kamu lihat. Coba jalankan yang sederhana dulu.
Bayangkan loss sebagai sebuah lanskap: dua weights adalah posisimu di peta, dan loss adalah ketinggiannya. Training adalah berjalan turun bukit. Gradient mengarah ke atas, jadi setiap langkah pergi ke arah sebaliknya: position = position - lr * gradient.
Angka kecil
Di mangkuk f(x, y) = x squared + y squared, gradien di (3, 4) adalah (6, 8). Dengan lr 0.1 langkahnya menuju (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Setiap langkah mempertahankan 80% jarak ke dasar, jadi setelah 20 langkah kamu berada di sekitar 1% dari tempat awalmu.
Learning rate: seberapa jauh langkah relatif terhadap gradient. Terlalu kecil lambat; terlalu besar meleset.
Ringkasan Melangkah melawan gradien; learning rate menentukan langkahnya.
Tulis descend(grad, start, lr, steps) yang mengembalikan daftar posisi yang dikunjungi (termasuk awal) sebagai NumPy arrays. Lalu pilih my_lr supaya, pada mangkuk dari pelajaran, mulai dari (3, 4), kamu berada dalam jarak 0.01 dari dasar dalam maksimal 15 langkah.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.