SimCLR: dua tampilan dari satu foto
Kenapa ini penting Sekarang seluruh metodenya: random views ditambah InfoNCE, diulang. Tidak ada label di titik mana pun. Apa yang dipelajarinya hampir sepenuhnya bergantung pada satu pilihan yang kamu buat: perbedaan mana di antara dua views yang diperintahkan untuk diabaikan.
Setiap langkah: ambil sekumpulan foto, buat dua tampilan acak dari masing-masing foto dengan ssl.augment, enkode keduanya, proyeksi dengan head kecil, dan minimalkan InfoNCE. Augmentasi menentukan tugasnya: apa pun yang berbeda antara dua tampilan dari satu foto (posisi crop, gambar cermin, kecerahan, saturasi) adalah apa yang dipelajari jaringan untuk diabaikan. Apa pun yang tetap sama (objeknya) adalah apa yang dipelajari untuk dipertahankan.
Real SimCLR runs pakai ribuan langkah dan batch besar. Di sini kamu jalankan yang pendek secara live (width 8, batch 32, 80 steps) buat lihat loss turun, lalu baca rekaman run panjang dari kursus ini (width 32, 2500 steps of 128).
Hasil rekaman mencakup dua variasi pada resep yang sama: menambahkan rotasi hue rotation ke tampilan (makalah SimCLR menemukan perubahan warna yang kuat sangat penting pada foto mereka), dan suhu yang lebih tinggi (0.5).
Di mana field saat ini SimCLR butuh banyak negatif (foto lain dalam batch), jadi ia dilatih paling baik dengan batch yang sangat besar (paper tersebut menggunakan 4,096). Metode selanjutnya membuang negatif: BYOL (2020) dan DINO (2021) melatih jaringan untuk mencocokkan salinan dirinya yang diperbarui perlahan, dan MAE (2021) menyembunyikan tiga perempat patch gambar dan membangunnya kembali, versi gambar dari modul isi titik-titik ini. Untuk teks, pembagian yang sama ada: prediksi masked (BERT) dan prediksi next-token (GPT).
Kata dan simbol di pelajaran ini
- prediksi tersembunyi
- bagian dari input yang disembunyikan dan melatih network untuk mengisinya
- view
- salinan gambar yang diubah secara acak: dipotong, dibalik, lebih terang, kurang berwarna
- augmentation
- perubahan acak yang membuat sebuah view; ini menentukan apa yang dipelajari jaringan untuk diabaikan
- InfoNCE
- cross-entropy pada pertanyaan yang dibuat oleh batch: pandangan mana lagi yang berasal dari gambar yang sama?
- temperature
- kemiripan apa yang dibagi sebelum softmax; semakin kecil membuatnya pilihan lebih tajam
- SimCLR
- pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Jalankan pretraining live dan isi live dengan rata-rata loss dari 10 langkah pertama dan 10 langkah terakhir. Lalu isi report dari hasil rekaman: akurasi probe (objek asli) untuk raw pixels, random encoder, SimCLR, SimCLR dengan hue rotation, dan supervised, ditambah gap, seberapa jauh SimCLR tertinggal dari supervised dalam bentuk pecahan (0.05 berarti 5 poin). Terakhir atur hue_helped ke True atau False.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.