SimCLR: bir fotoğrafın iki görünümü
Neden önemli Şimdi bütün yöntem: rastgele görünümler artı InfoNCE, tekrarlanmış. Hiçbir noktada etiket yok. Ne öğrendiği neredeyse tamamen senin yaptığın bir seçime bağlı: iki görünüm arasındaki hangi farkları yok saymasının söylendiği.
Her adım: bir fotoğraf batch'i al, ssl.augment ile her birinin iki rastgele görünümünü yap, ikisini de kodla, küçük bir kafayla izdüşümlerini al, ve InfoNCE'yi küçült. Veri artırmalar görevi tanımlar: bir fotoğrafın iki görünümü arasında farklı olan her şey (kırpmanın konumu, ayna görüntüsü, parlaklık, doygunluk) ağın yok saymayı öğrendiği şeydir. Aynı kalan her şey (nesne) tutmayı öğrendiği şeydir.
Gerçek SimCLR çalıştırmaları binlerce adım ve büyük batch'ler kullanır. Burada kaybın düşüşünü izlemek için kısa birini canlı çalıştırıyorsun (genişlik 8, batch 32, 80 adım), sonra kursun kaydedilmiş uzun çalıştırmalarını okuyorsun (genişlik 32, 128'lik 2500 adım).
Kaydedilmiş çalıştırmalar aynı tarifin iki varyasyonunu içerir: görünümlere rastgele bir renk tonu döndürme eklemek (SimCLR makalesi güçlü renk değişikliklerini kendi fotoğraflarında vazgeçilmez buldu), ve daha yüksek bir sıcaklık (0.5).
Alan şu an nerede SimCLR birçok negatife (batch'teki diğer fotoğraflar) ihtiyaç duyar, bu yüzden çok büyük batch'lerle en iyi eğitilir (makale 4.096 kullandı). Sonraki yöntemler negatifleri bırakır: BYOL (2020) ve DINO (2021) bir ağı kendisinin yavaşça güncellenen bir kopyasıyla eşleşmeye eğitir, ve MAE (2021) bir resmin yamalarının dörtte üçünü gizler ve yeniden kurar, bu modülün boşluk doldurmasının resim sürümü. Metin için de aynı ayrım var: maskeli tahmin (BERT) ve sonraki token tahmini (GPT).
Bu dersteki kelimeler ve semboller
- maskeli tahmin
- girdinin bir kısmını gizleyip ağı onu doldurmaya eğitmek
- görünüm
- bir resmin rastgele değiştirilmiş bir kopyası: kırpılmış, çevrilmiş, daha parlak, daha az renkli
- veri artırma
- bir görünümü yapan rastgele değişiklik; ağın neyi yok saymayı öğreneceğine karar verir
- InfoNCE
- batch'in kendine sorduğu bir soru üzerinde çapraz entropi: hangi diğer görünüm aynı resimden geldi?
- sıcaklık
- benzerliklerin softmax'tan önce bölündüğü sayı; küçüğü seçimi keskinleştirir
- SimCLR
- her resmin iki görünümü ve InfoNCE ile öz denetimli eğitim (Chen vd. 2020)
Canlı ön eğitimi çalıştır ve live'ı ilk 10 ve son 10 adımdaki ortalama kayıpla doldur. Sonra report'u kaydedilmiş çalıştırmalardan doldur: ham pikseller, rastgele kodlayıcı, SimCLR, renk tonu döndürmeli SimCLR ve denetimli için yoklama doğruluğu (orijinal nesneler), artı gap, SimCLR'ın denetimliden bir kesir olarak ne kadar geride olduğu (0.05 5 puan demektir). Son olarak hue_helped'i True ya da False'a ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.