Müfredat 246 dersinden 197. · Modül 18: Etiketsiz öğrenmek
Modül 18: Etiketsiz öğrenmek

SimCLR: bir fotoğrafın iki görünümü

Neden önemli Şimdi bütün yöntem: rastgele görünümler artı InfoNCE, tekrarlanmış. Hiçbir noktada etiket yok. Ne öğrendiği neredeyse tamamen senin yaptığın bir seçime bağlı: iki görünüm arasındaki hangi farkları yok saymasının söylendiği.

Her adım: bir fotoğraf batch'i al, ssl.augment ile her birinin iki rastgele görünümünü yap, ikisini de kodla, küçük bir kafayla izdüşümlerini al, ve InfoNCE'yi küçült. Veri artırmalar görevi tanımlar: bir fotoğrafın iki görünümü arasında farklı olan her şey (kırpmanın konumu, ayna görüntüsü, parlaklık, doygunluk) ağın yok saymayı öğrendiği şeydir. Aynı kalan her şey (nesne) tutmayı öğrendiği şeydir.

Gerçek SimCLR çalıştırmaları binlerce adım ve büyük batch'ler kullanır. Burada kaybın düşüşünü izlemek için kısa birini canlı çalıştırıyorsun (genişlik 8, batch 32, 80 adım), sonra kursun kaydedilmiş uzun çalıştırmalarını okuyorsun (genişlik 32, 128'lik 2500 adım).

Kaydedilmiş çalıştırmalar aynı tarifin iki varyasyonunu içerir: görünümlere rastgele bir renk tonu döndürme eklemek (SimCLR makalesi güçlü renk değişikliklerini kendi fotoğraflarında vazgeçilmez buldu), ve daha yüksek bir sıcaklık (0.5).

Alan şu an nerede SimCLR birçok negatife (batch'teki diğer fotoğraflar) ihtiyaç duyar, bu yüzden çok büyük batch'lerle en iyi eğitilir (makale 4.096 kullandı). Sonraki yöntemler negatifleri bırakır: BYOL (2020) ve DINO (2021) bir ağı kendisinin yavaşça güncellenen bir kopyasıyla eşleşmeye eğitir, ve MAE (2021) bir resmin yamalarının dörtte üçünü gizler ve yeniden kurar, bu modülün boşluk doldurmasının resim sürümü. Metin için de aynı ayrım var: maskeli tahmin (BERT) ve sonraki token tahmini (GPT).

Bu dersteki kelimeler ve semboller
maskeli tahmin
girdinin bir kısmını gizleyip ağı onu doldurmaya eğitmek
görünüm
bir resmin rastgele değiştirilmiş bir kopyası: kırpılmış, çevrilmiş, daha parlak, daha az renkli
veri artırma
bir görünümü yapan rastgele değişiklik; ağın neyi yok saymayı öğreneceğine karar verir
InfoNCE
batch'in kendine sorduğu bir soru üzerinde çapraz entropi: hangi diğer görünüm aynı resimden geldi?
sıcaklık
benzerliklerin softmax'tan önce bölündüğü sayı; küçüğü seçimi keskinleştirir
SimCLR
her resmin iki görünümü ve InfoNCE ile öz denetimli eğitim (Chen vd. 2020)
Senin sıran

Canlı ön eğitimi çalıştır ve live'ı ilk 10 ve son 10 adımdaki ortalama kayıpla doldur. Sonra report'u kaydedilmiş çalıştırmalardan doldur: ham pikseller, rastgele kodlayıcı, SimCLR, renk tonu döndürmeli SimCLR ve denetimli için yoklama doğruluğu (orijinal nesneler), artı gap, SimCLR'ın denetimliden bir kesir olarak ne kadar geride olduğu (0.05 5 puan demektir). Son olarak hue_helped'i True ya da False'a ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.