Silabus Pelajaran 65 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

Kenapa bowl yang ditarik lambat (conditioning)

Kenapa ini penting Lanskap kerugian yang nyata sangat curam di beberapa arah dan hampir datar di arah lainnya. Ketidaksesuaian itu, bukan jumlah bobot, yang membuat gradient descent biasa menjadi lambat.

Lihat sendiri

Ambil f = (k x squared + y squared) / 2. Dengan k = 1 ini adalah mangkuk bulat. Dengan k = 100 ini adalah lembah panjang dan tipis: curam ke samping, landai di sepanjangnya. learning rate harus cocok untuk kedua arah sekaligus. Pilihan tunggal terbaik, lr = 2 / (k + 1), membuat setiap langkah mempertahankan (k - 1) / (k + 1) dari jarak di kedua arah: 0.98 darinya saat k = 100. Jika lebih besar arah curam akan melampaui dan menetap lebih lambat (di atas 2 / k itu tumbuh tanpa batas); jika lebih kecil arah landai akan merayap lebih lambat lagi. Jadi perjalanannya zig-zag ke samping lembah sementara ia merayap di sepanjangnya.

Condition number: rasio kelengkungan tercuram ke kelengkungan terlemah, di sini k. Plain gradient descent butuh sekitar k langkah untuk membuat kemajuan yang baik.

Tebak Kurvanya: sebelum menjalankan, prediksi berapa langkah yang dibutuhkan untuk mencapai jarak 0.001 dari dasar untuk k = 1, 10 dan 100, menggunakan learning rate tetap terbaik, 2 / (k + 1).

Ringkasan Stretch memperlambat penurunan biasa sesuai dengan tarikannya.

Kata dan simbol di pelajaran ini
nomor kondisi
seberapa lebih curam arah tercuram dibandingkan arah terlandai
Giliranku

Isi my_guess (tiga hitungan langkah), lalu tulis steps_to_converge(k): mulai di (1, 1), gunakan lr = 2 / (k + 1), dan hitung langkah sampai jarak ke (0, 0) di bawah 0.001 (berhenti di 100,000).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.