SimCLR: twee weergaven van één foto
Waarom dit ertoe doet Nu de hele methode: willekeurige weergaven plus InfoNCE, herhaald. Nergens labels. Wat het leert, hangt bijna helemaal af van één keuze die jij maakt: welke verschillen tussen twee weergaven het moet negeren.
Elke stap: neem een batch foto's, maak van elke foto twee willekeurige weergaven met ssl.augment, codeer beide, projecteer ze met een kleine kop en minimaliseer InfoNCE. De augmentaties bepalen de taak: wat er verschilt tussen twee weergaven van één foto (plek van de uitsnede, spiegelbeeld, helderheid, verzadiging) is wat het netwerk leert te negeren. Wat hetzelfde blijft (het voorwerp), is wat het leert te bewaren.
Echte SimCLR-runs gebruiken duizenden stappen en grote batches. Hier draai je live een korte (breedte 8, batch 32, 80 stappen) om het verlies te zien dalen, en lees je daarna de opgenomen lange runs van de cursus (breedte 32, 2500 stappen van 128).
De opgenomen runs bevatten twee varianten van hetzelfde recept: een willekeurige tintrotatie aan de weergaven toevoegen (het SimCLR-artikel vond sterke kleurveranderingen essentieel op zijn foto's), en een hogere temperatuur (0.5).
Waar het vakgebied nu staat SimCLR heeft veel negatieven nodig (andere foto's in de batch), dus het traint het best met heel grote batches (het artikel gebruikte 4.096). Latere methoden laten de negatieven weg: BYOL (2020) en DINO (2021) trainen een netwerk om een langzaam bijgewerkte kopie van zichzelf na te doen, en MAE (2021) verbergt drie kwart van de stukjes van een afbeelding en bouwt ze opnieuw op, de beeldversie van het invullen in deze module. Voor tekst bestaat dezelfde splitsing: gemaskeerde voorspelling (BERT) en voorspelling van het volgende token (GPT).
Woorden en symbolen in deze les
- gemaskeerde voorspelling
- een deel van de invoer verbergen en het netwerk trainen om het in te vullen
- weergave
- een willekeurig veranderde kopie van een plaatje: uitgesneden, gespiegeld, helderder, minder kleurrijk
- augmentatie
- de willekeurige verandering die een weergave maakt; zij bepaalt wat het netwerk leert te negeren
- InfoNCE
- cross-entropy op een vraag die de batch zichzelf stelt: welke andere weergave kwam van hetzelfde plaatje?
- temperatuur
- waardoor gelijkenissen gedeeld worden vóór de softmax; kleiner maakt de keuze scherper
- SimCLR
- zelfgesuperviseerde training met twee weergaven van elk plaatje en InfoNCE (Chen et al. 2020)
Voer de live pretraining uit en vul live in met de gemiddelde loss over de eerste 10 en de laatste 10 steps. Vul daarna report in vanuit de opgenomen runs: de probe accuracy (originele objecten) voor raw pixels, de random encoder, SimCLR, SimCLR met hue rotation en supervised, plus gap, hoe ver SimCLR achter supervised ligt als een fractie (0.05 betekent 5 punten). Zet ten slotte hue_helped op True of False.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.