Silabus Pelajaran 88 dari 246 · Modul 7: Bekerja dengan data baru
Modul 7: Bekerja dengan data baru

Dropout, dibangun

Kenapa ini penting Dropout adalah cara sederhana untuk mencegah jaringan belajar terlalu bergantung pada satu unit saja, dan kamu akan melihatnya di dalam banyak model.

Saat pelatihan, dropout mematikan setiap unit secara acak dengan probabilitas p (misalnya 0.5) di setiap langkah. Jaringan tidak bisa bergantung pada satu unit saja, karena unit itu bisa saja hilang di langkah berikutnya, jadi ia menyebarkan apa yang ia tahu ke banyak unit.

Menjaga rata-rata tetap benar

Jika setengah unit dimatikan, lapisan berikutnya menerima sinyal sekitar setengahnya. inverted dropout modern memperbaiki ini saat pelatihan: unit yang bertahan dikalikan dengan 1 / (1 - p), di sini 2. Saat evaluasi dropout tidak melakukan apa pun, dan rata-rata sinyal cocok dengan pelatihan. (Makalah asli 2014 melakukan penskalaan saat evaluasi; hasilnya sama, tapi inverted dropout menjaga kode evaluasi tetap utuh.)

Tingkat dropout p: probabilitas mematikan unit selama pelatihan.

Kata dan simbol di pelajaran ini
dropout (p)
mematikan unit secara acak dengan probabilitas p selama pelatihan
Giliranku

Tulis dropout(h, p, training, rng): saat training, nolkan setiap entri dengan probabilitas p dan skala sisanya dengan 1 / (1 - p); jika tidak, kembalikan h tanpa perubahan. Gunakan rng.random(h.shape) >= p sebagai keep mask.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.