Müfredat 246 dersinden 198. · Modül 18: Etiketsiz öğrenmek
Modül 18: Etiketsiz öğrenmek

Açıklamaları resimlerle eşleştirmek (CLIP fikri) (İsteğe bağlı)

Neden önemli Metinden resme arama, ve resim üreticilerinin "anlama" kısmı, tek bir hileyle başlar: bir resim kodlayıcısını ve bir metin kodlayıcısını, bir resim ve açıklaması birbirine yakın düşecek şekilde eğitmek. Yine InfoNCE'dir, iki tür veri boyunca. Bu ders isteğe bağlıdır: sertifika için gerekmez.

Buradaki her fotoğraf, nasıl üretildiğinden yazılmış gerçek bir açıklamayla gelir: "a green ring on the left". Resim tarafı dondurulmuş SimCLR kodlayıcısı artı 16 sayıya tek bir eğitilebilir katmandır. Metin tarafı bir kelime torbasıdır (kelime başına bir sayı: açıklamada var mı?) çarpı 16 sayıya tek bir eğitilebilir katman.

Kayıp simetriktir: n çiftlik bir batch için her resim n açıklama arasından kendi açıklamasını, ve her açıklama n resim arasından kendi resmini seçmelidir. Aynı n × n benzerlik ızgarası üzerinde iki çapraz entropi, biri satırlar boyunca ve biri sütunlar boyunca.

Test "önce doğru resim"den fazlasını sorar: en iyi eşleşen resim en azından açıklamanın rengine sahip mi? Nesnesine? Tarafına?

Bu dersteki kelimeler ve semboller
InfoNCE
batch'in kendine sorduğu bir soru üzerinde çapraz entropi: hangi diğer görünüm aynı resimden geldi?
sıcaklık
benzerliklerin softmax'tan önce bölündüğü sayı; küçüğü seçimi keskinleştirir
SimCLR
her resmin iki görünümü ve InfoNCE ile öz denetimli eğitim (Chen vd. 2020)
Senin sıran

pair_loss(a, b, temperature) yaz ((n, 16) şeklinde motor tensörleri: ikisini de ssl.normalize ile normalleştir (InfoNCE dersindeki gibi her satır uzunluk 1'e), benzerlikler sıcaklığa bölünmüş, satırlar boyunca çapraz entropi artı sütunlar boyunca çapraz entropi) ve 0.1 sıcaklıkta 128 çiftlik 600 adım eğit. Test açıklamalarının en az %5'i için önce doğru resimle geç (şans %0.5).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.