Müfredat 246 dersinden 196. · Modül 18: Etiketsiz öğrenmek
Modül 18: Etiketsiz öğrenmek

Eşini batch'ten seç (InfoNCE)

Neden önemli SimCLR'ın bütün eğitim sinyali tek bir kayıptır, ve onu zaten biliyorsun: ağın kendine sorduğu çoktan seçmeli bir soru üzerinde çapraz entropidir.

n fotoğraflık bir batch al ve her birinin iki rastgele görünümünü yap (kırp, çevir, parlaklığı ve rengi değiştir). Bu 2n görünüm verir. Her görünüm için soru şudur: diğer 2n - 1 görünümden hangisi aynı fotoğraftan geldi? Tam olarak bir tanesi.

  1. Her görünümü kısa bir z vektörüne kodla, ve her z'yi uzunluk 1'e ölçekle.
  2. İki görünümün benzerliği = iç çarpımları (kosinüs), bir sıcaklığa (burada 0.2) bölünmüş: küçük sıcaklıklar puanları keskinleştirir.
  3. Bir görünüm kendini seçemez: kendi puanı eksi sonsuza ayarlanır.
  4. Doğru cevabı eş olan çapraz entropi: i görünümünün eşi i + n'dir (ve tersi).

Sahneyi izle: altı fotoğraf, her biri iki görünüm, benzerlik ızgarası, ve her satırın seçimi.

Küçük sayılar

İki fotoğraf, yani dört görünüm. 0. görünümün 1, 2, 3. görünümlere benzerlikleri 0.1, 0.9, 0.2 ise (eşi 2. görünüm), 0.2'ye bölündüğünde 0.5, 4.5, 1.0 olurlar. Softmax eşe 0.954 verir, ve 0. görünümün kaybı -log 0.954 = 0.047'dir.

Bu dersteki kelimeler ve semboller
görünüm
bir resmin rastgele değiştirilmiş bir kopyası: kırpılmış, çevrilmiş, daha parlak, daha az renkli
InfoNCE
batch'in kendine sorduğu bir soru üzerinde çapraz entropi: hangi diğer görünüm aynı resimden geldi?
sıcaklık
benzerliklerin softmax'tan önce bölündüğü sayı; küçüğü seçimi keskinleştirir
SimCLR
her resmin iki görünümü ve InfoNCE ile öz denetimli eğitim (Chen vd. 2020)
Senin sıran

(2n, d) şeklindeki z için, 2n satırın hepsi üzerindeki ortalama kaybı döndüren info_nce(z, temperature)'u düz NumPy'de yaz. Sonra example'ı hesapla: başlangıç kodundaki dört görünümlü batch için kayıp.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.