Silabus Pelajaran 196 dari 246 · Modul 18: Belajar tanpa label
Modul 18: Belajar tanpa label

Pilih pasanganmu dari kumpulan tersebut (InfoNCE)

Kenapa ini penting Seluruh sinyal pelatihan SimCLR adalah satu loss, dan kamu sudah tahu itu: itu adalah cross-entropy, pada pertanyaan pilihan ganda yang dibuat oleh jaringan itu sendiri.

Ambil sekumpulan n foto dan buat dua tampilan acak untuk setiap foto (crop, flip, ubah kecerahan dan warna). Itu menghasilkan 2n tampilan. Untuk setiap tampilan, pertanyaannya adalah: mana dari 2n - 1 tampilan lainnya yang berasal dari foto yang sama?Tepat satu tampilan.

  1. Kode setiap view ke vektor pendek z, dan skala setiap z ke panjang 1.
  2. Kemiripan dua pandangan = hasil dot product mereka (cosinus), dibagi dengan temperature (0.2 di sini): suhu kecil membuat skor lebih tajam.
  3. A mungkin tidak memilih dirinya sendiri: skornya sendiri diatur ke minus infinity.
  4. Cross-entropy, dengan jawaban yang benar sebagai pasangannya: pasangan i adalah i + n (dan sebaliknya).

Lihat adegannya: enam foto, dua tampilan masing-masing, kisi kemiripan, dan pilihan tiap baris.

Angka kecil

Dua foto, jadi empat tampilan. Jika kemiripan tampilan 0 ke tampilan 1, 2, 3 adalah 0.1, 0.9, 0.2 (pasangannya adalah tampilan 2), dibagi 0.2 mereka menjadi 0.5, 4.5, 1.0. Softmax memberikan pasangan 0.954, dan loss tampilan 0 adalah -log 0.954 = 0.047.

Kata dan simbol di pelajaran ini
view
salinan gambar yang diubah secara acak: dipotong, dibalik, lebih terang, kurang berwarna
InfoNCE
cross-entropy pada pertanyaan yang dibuat oleh batch: tampilan mana lagi yang berasal dari gambar yang sama?
temperature
kemiripan apa yang dibagi sebelum softmax; semakin kecil membuatnya pilihan lebih tajam
SimCLR
pelatihan self-supervised dengan dua tampilan dari setiap gambar dan InfoNCE (Chen et al. 2020)
Giliranku

Tulis info_nce(z, temperature) dalam NumPy biasa untuk z dengan bentuk (2n, d), mengembalikan rata-rata loss dari semua 2n baris. Lalu hitung example: loss untuk batch empat-pandangan di starter.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.