Menggunakan kembali jaringan yang sudah dilatih (transfer learning)
Kenapa ini penting Kamu jarang punya banyak data berlabel untuk tugasmu sendiri. Jaringan yang dilatih pada dataset terkait yang besar sudah tahu fitur yang berguna; menggunakannya kembali membuat dataset kecil jadi sangat berguna.
Rencananya: latih conv layers pada dataset shapes yang besar dan bersih. Lalu hadapi tugas baru yang lebih sulit dengan hanya 40 gambar berlabel: bentuk yang sama, tapi jauh lebih berisik. Biarkan conv layers yang sudah dilatih tetap beku dan latih hanya layer akhir baru pada fitur yang dirata-ratakan di seluruh gambar (fitur bebas posisi bisa digeneralisasi dari sedikit contoh). Bandingkan dengan melatih seluruh network dari awal pada 40 gambar tersebut.
Frozen: lapisan yang bobotnya tidak diperbarui selama pelatihan. Fine-tuning: melanjutkan pelatihan jaringan pra-latih pada data baru.
Kata dan simbol di pelajaran ini
- transfer learning
- menggunakan kembali layer yang dilatih pada satu tugas untuk tugas lainnya
- TEREKAM
- kursus ini benar-benar dijalankan sekali dan dikirim untuk kamu pelajari
Pretraining sudah dilakukan oleh kursus dan bobotnya sudah dimuat untukmu (jaringan yang direkam). Tulis train_head(w1, w2, X, y, steps) yang hanya melatih lapisan output 16-ke-4 baru di atas lapisan conv yang dibekukan (Adam pada 1e-2 berhasil) dan mengembalikan fungsi predict, dan train_scratch(X, y, steps) yang melatih ketiga lapisan dari bobot acak baru. Pengujian berjalan pada 1.000 gambar uji yang berisik. Model transfermu harus mengalahkan jaringan scratch milik kursus (pengaturan tetap: 8 dan 16 channel, Adam 3e-3, 300 langkah, sekitar 58%) setidaknya 8 poin; jalankan transfer kursus mendapat sekitar 72%. Jaringan scratch milikmu hanya perlu mempelajari sesuatu (di atas 35%, di mana peluang adalah 25%). Jika milikmu mengalahkan jaringan scratch kursus, bagus: menyetel pelatihan scratch dengan baik adalah keahlian nyata, dan itu juga alasan mengapa perbandingan yang adil menetapkan pengaturan sebelumnya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.