Programma Les 193 van 246 · Module 18: Leren zonder labels
Module 18: Leren zonder labels

Sorteren van foto's die niemand heeft gelabeld

Waarom dit ertoe doet Labels zijn duur: iemand moet naar elke foto kijken. Foto's zonder labels zijn bijna gratis. Als een netwerk nuttige kenmerken zou kunnen leren uit alleen ongelabelde foto's, zou elk model kunnen beginnen bij miljoenen voorbeelden in plaats van duizenden. Dat is self-supervised learning, en dat is hoe de grote modellen van vandaag worden pretrained.

De afbeeldingen in deze module zijn kleine 16 x 16 foto's van zes soorten objecten (ball, box, ring, tent, cross, moon) in rommelige scènes: willekeurige achtergronden, licht van elke kant, schaduwen, dingen op de voorgrond, vervaging en sensorruis. Ze zijn gegenereerd, niet gedownload, en gebouwd om zich te gedragen als echte foto's: de cursus mat drie statistieken die elke natuurlijke foto deelt (hoe details afnemen met schaal, hoe schaars de randen zijn, hoe gelijk naburige pixels zijn), en deze foto's vallen binnen de bereik van echte fotouitsneden op alle drie. photos.stats(X) printt ze.

Een snelle test van elke set features: voor elke foto vind je de 5 dichtstbijzijnde buren met die features en tel je hoeveel hetzelfde soort object laten zien. Willekeurig gokken geeft 1 op 6.

Drie soorten kenmerken:

  • de ruwe pixels;
  • a CNN met willekeurige gewichten, nooit getraind;
  • hetzelfde CNN na SimCLR pretraining op 4000 foto's, met geen labels helemaal (de cursus heeft het één keer getraind; je ziet hoe in les 5).

Voorspel eerst: welke zet foto's van hetzelfde object het dichtst bij elkaar?

Woorden en symbolen in deze les
self-supervised learning
leer kenmerken uit data zonder labels, door een taak stelt de data zichzelf in
SimCLR
self-supervised training met twee weergaven van elke afbeelding en InfoNCE (Chen et al. 2020)
Jij bent aan de beurt

Zet my_guess op "raw", "random" of "simclr". Schrijf agreement(F, labels, k): standaardiseer elke feature, schaal elke rij naar lengte 1, en geef het aandeel van de k dichtstbijzijnde buren (via cosine similarity, een foto is niet zijn eigen buur) die hetzelfde label hebben terug. Vul scores in voor de drie soorten features.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.