Programma Les 196 van 246 · Module 18: Leren zonder labels
Module 18: Leren zonder labels

Kies je partner uit de batch (InfoNCE)

Waarom dit ertoe doetHet hele trainingssignaal van SimCLR is één loss, en je weet het al: het is cross-entropy, op een meerkeuzevraag die het netwerk zelf stelt.

Neem een batch van n foto's en maak twee willekeurige weergaven van elk (bijsnijden, spiegelen, helderheid en kleur aanpassen). Dat geeft 2n weergaven. Voor elke weergave is de vraag: welke van de andere 2n - 1 weergaven kwam van dezelfde foto?Precies één deed dat.

  1. Code elke view om naar een korte vector z, en schaal elke z naar lengte 1.
  2. Overeenkomst van twee views = hun dot product (de cosinus), gedeeld door een temperature (0.2 hier): lage temperaturen maken de scores scherper.
  3. A weergave kan zichzelf niet kiezen: zijn eigen score is ingesteld op min oneindig.
  4. Cross-entropy, waarbij het juiste antwoord de partner is: bekijk de partner van i als i + n (en andersom).

Bekijk de scène: zes foto's, twee weergaven elk, het raster van overeenkomsten, en de keuze van elke rij.

Tintalletjes

Twee foto's, dus vier weergaven. Als de gelijkenissen van weergave 0 naar weergaven 1, 2, 3 zijn 0.1, 0.9, 0.2 (zijn partner is weergave 2), gedeeld door 0.2 worden ze 0.5, 4.5, 1.0. Softmax geeft de partner 0.954, en de loss van weergave 0 is -log 0.954 = 0.047.

Woorden en symbolen in deze les
view
a willekeurig veranderde kopie van een afbeelding: bijgesneden, gespiegeld, helderder, minder kleurrijk
InfoNCE
cross-entropy op een vraag die de batch zelf stelt: welke andere weergave kwam van dezelfde foto?
temperature
welke overeenkomsten worden gedeeld voor de softmax; kleiner maakt de keuze scherper
SimCLR
zelf-gecorrigeerde training met twee weergaven van elke afbeelding en InfoNCE (Chen et al. 2020)
Jij bent aan de beurt

Schrijf info_nce(z, temperature) in plain NumPy voor z van shape (2n, d), waarbij je de gemiddelde loss over alle 2n rijen teruggeeft. Bereken daarna example: de loss voor de four-view batch in de starter.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.