Silabus Pelajaran 197 dari 246 · Modul 18: Belajar tanpa label
Modul 18: Belajar tanpa label

SimCLR: dua tampilan dari satu foto

Kenapa ini penting Sekarang seluruh metodenya: random views ditambah InfoNCE, diulang. Tidak ada label di titik mana pun. Apa yang dipelajarinya hampir sepenuhnya bergantung pada satu pilihan yang kamu buat: perbedaan mana di antara dua views yang diperintahkan untuk diabaikan.

Setiap langkah: ambil sekumpulan foto, buat dua tampilan acak dari masing-masing foto dengan ssl.augment, enkode keduanya, proyeksi dengan head kecil, dan minimalkan InfoNCE. Augmentasi menentukan tugasnya: apa pun yang berbeda antara dua tampilan dari satu foto (posisi crop, gambar cermin, kecerahan, saturasi) adalah apa yang dipelajari jaringan untuk diabaikan. Apa pun yang tetap sama (objeknya) adalah apa yang dipelajari untuk dipertahankan.

Real SimCLR runs pakai ribuan langkah dan batch besar. Di sini kamu jalankan yang pendek secara live (width 8, batch 32, 80 steps) buat lihat loss turun, lalu baca rekaman run panjang dari kursus ini (width 32, 2500 steps of 128).

Hasil rekaman mencakup dua variasi pada resep yang sama: menambahkan rotasi hue rotation ke tampilan (makalah SimCLR menemukan perubahan warna yang kuat sangat penting pada foto mereka), dan suhu yang lebih tinggi (0.5).

Di mana field saat ini SimCLR butuh banyak negatif (foto lain dalam batch), jadi ia dilatih paling baik dengan batch yang sangat besar (paper tersebut menggunakan 4,096). Metode selanjutnya membuang negatif: BYOL (2020) dan DINO (2021) melatih jaringan untuk mencocokkan salinan dirinya yang diperbarui perlahan, dan MAE (2021) menyembunyikan tiga perempat patch gambar dan membangunnya kembali, versi gambar dari modul isi titik-titik ini. Untuk teks, pembagian yang sama ada: prediksi masked (BERT) dan prediksi next-token (GPT).

Kata dan simbol di pelajaran ini
prediksi tersembunyi
bagian dari input yang disembunyikan dan melatih network untuk mengisinya
view
salinan gambar yang diubah secara acak: dipotong, dibalik, lebih terang, kurang berwarna
augmentation
perubahan acak yang membuat sebuah view; ini menentukan apa yang dipelajari jaringan untuk diabaikan
InfoNCE
cross-entropy pada pertanyaan yang dibuat oleh batch: pandangan mana lagi yang berasal dari gambar yang sama?
temperature
kemiripan apa yang dibagi sebelum softmax; semakin kecil membuatnya pilihan lebih tajam
SimCLR
pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Giliranku

Jalankan pretraining live dan isi live dengan rata-rata loss dari 10 langkah pertama dan 10 langkah terakhir. Lalu isi report dari hasil rekaman: akurasi probe (objek asli) untuk raw pixels, random encoder, SimCLR, SimCLR dengan hue rotation, dan supervised, ditambah gap, seberapa jauh SimCLR tertinggal dari supervised dalam bentuk pecahan (0.05 berarti 5 poin). Terakhir atur hue_helped ke True atau False.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.