Silabus Pelajaran 194 dari 246 · Modul 18: Belajar tanpa label
Modul 18: Belajar tanpa label

Isi bagian yang kosong (masked prediction)

Kenapa ini penting Cara termudah membuat tugas dari data tanpa label: sembunyikan sebagian dan minta jaringan untuk mengisinya. Model bahasa dilatih dengan cara yang persis seperti ini (sembunyikan kata berikutnya); model gambar menyembunyikan patch. Untuk mengisi lubang dengan baik, jaringan harus memahami apa yang ada di sekitarnya.

Sembunyikan patch 4 x 4 di tengah setiap foto. Jaringan melihat jendela 8 x 8 di sekitarnya (48 piksel lainnya, x 3 warna) dan memprediksi 16 yang tersembunyi (x 3). Loss adalah mean squared error. Tidak ada label di mana pun: foto adalah kunci jawabannya sendiri.

Dua pengisian sederhana untuk dikalahkan: rata-rata warna foto (error sekitar 0.035) dan rata-rata piksel tepat di sekitar lubang (sekitar 0.019). Jaringan yang mengalahkan yang kedua telah mempelajari sesuatu tentang bagaimana bentuk dan cahaya berlanjut.

Kata dan simbol di pelajaran ini
prediksi tersembunyi
menyalahkan bagian input dan melatih network untuk mengisinya
Giliranku

Tulis isi loop pelatihan (400 langkah dari 64 foto). Lolos dengan error validasi di bawah 0.017.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.