Pilih pasanganmu dari kumpulan tersebut (InfoNCE)
Kenapa ini penting Seluruh sinyal pelatihan SimCLR adalah satu loss, dan kamu sudah tahu itu: itu adalah cross-entropy, pada pertanyaan pilihan ganda yang dibuat oleh jaringan itu sendiri.
Ambil sekumpulan n foto dan buat dua tampilan acak untuk setiap foto (crop, flip, ubah kecerahan dan warna). Itu menghasilkan 2n tampilan. Untuk setiap tampilan, pertanyaannya adalah: mana dari 2n - 1 tampilan lainnya yang berasal dari foto yang sama?Tepat satu tampilan.
- Kode setiap view ke vektor pendek z, dan skala setiap z ke panjang 1.
- Kemiripan dua pandangan = hasil dot product mereka (cosinus), dibagi dengan temperature (0.2 di sini): suhu kecil membuat skor lebih tajam.
- A mungkin tidak memilih dirinya sendiri: skornya sendiri diatur ke minus infinity.
- Cross-entropy, dengan jawaban yang benar sebagai pasangannya: pasangan i adalah i + n (dan sebaliknya).
Lihat adegannya: enam foto, dua tampilan masing-masing, kisi kemiripan, dan pilihan tiap baris.
Angka kecil
Dua foto, jadi empat tampilan. Jika kemiripan tampilan 0 ke tampilan 1, 2, 3 adalah 0.1, 0.9, 0.2 (pasangannya adalah tampilan 2), dibagi 0.2 mereka menjadi 0.5, 4.5, 1.0. Softmax memberikan pasangan 0.954, dan loss tampilan 0 adalah -log 0.954 = 0.047.
Kata dan simbol di pelajaran ini
- view
- salinan gambar yang diubah secara acak: dipotong, dibalik, lebih terang, kurang berwarna
- InfoNCE
- cross-entropy pada pertanyaan yang dibuat oleh batch: tampilan mana lagi yang berasal dari gambar yang sama?
- temperature
- kemiripan apa yang dibagi sebelum softmax; semakin kecil membuatnya pilihan lebih tajam
- SimCLR
- pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Tulis info_nce(z, temperature) dalam NumPy biasa untuk z dengan bentuk (2n, d), mengembalikan rata-rata loss dari semua 2n baris. Lalu hitung example: loss untuk batch empat-pandangan di starter.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.