Kurrikulum Leson 197 van 246 · Module 18: Leer sonder etikette
Module 18: Leer sonder etikette

SimCLR: twee weergawes van een foto

Waarom dit saak maak Nou die hele metode: random views plus InfoNCE, herhaaldelik. Geen labels op enige stadium nie. Wat dit leer, hang byna heeltemal af van een keuse wat jy maak: watter verskille tussen twee views dit moet ignoreer.

Elke stap: neem 'n stel foto's, maak twee willeke weergawes van elk met ssl.augment, kodering van albei, projekteer hulle met 'n klein kop, en minimaliseer InfoNCE. Die augmentasies definieer die taak: wat ook al verskil tussen twee weergawes van een foto (posisie van die sny, spieëlbeeld, helderheid, versatiging) is wat die netwerk leer om te ignoreer. Wat dieselfde bly (die objek) is wat dit leer om te behou.

Ware SimCLR-runs gebruik duisende stappe en groot batches. Hier hardloop jy 'n kort een lewendig (width 8, batch 32, 80 steps) om te sien hoe die loss daal, dan lees jy die kursus se opgeneemde lang runs (width 32, 2500 steps van 128).

Die opgeneemde runs sluit twee variasies op dieselfde resep in: die byvoeging van 'n willekeurige hue rotation by die views (die SimCLR-dokument het sterk kleurveranderinge as noodsaaklik vir sy foto's gevind), en 'n hoër temperatuur (0.5).

Waar die veld nou is SimCLR het baie negatiewes nodig (ander foto's in die pakkie), so dit blink die beste met baie groot batches (die papier het 4,096 gebruik). Latere metodes laat die negatiewes val: BYOL (2020) en DINO (2021) train 'n netwerk om 'n stadig opgedateerde kopie van homself te pas, en MAE (2021) verberg drie kwart van 'n beeld se patches en bou hulle weer op, die prentjie-weergawe van hierdie module se vul-in-die-blank. Vir teks bestaan dieselfde skei: gemaskeerde voorspelling (BERT) en volgende-token-voorspelling (GPT).

Woorde en simbole in hierdie les
gemaskerde voorspelling
verberg 'n deel van die input en stel die netwerk op om dit in te vul
view
a willeke veranderde kopie van 'n prent: gesny, omgedraai, helderder, minder kleurryk
augmentation
die willeke verandering wat 'n aansig maak; dit besluit wat die netwerk leer om te ignoreer
InfoNCE
cross-entropy op 'n vraag wat die batch self stel: watter ander aansig het van dieselfde prentjie gekom?
temperature
watter ooreenkomste word gedeel voor die softmax; kleiner maak die keuse skerper
SimCLR
self-gesuperviseerde opleiding met twee weergawes van elke prent en InfoNCE (Chen et al. 2020)
Jou beurt

Hardloop die lewendige vooropleiding en vul live met die gemiddelde verlies oor die eerste 10 en die laaste 10 stappe. Vul dan report in vanaf die opgetekende runs: die probe accuracy (oorspronklike objekte) vir raw pixels, die random encoder, SimCLR, SimCLR met hue rotation, en supervised, plus gap, hoe ver SimCLR agter supervised is as 'n breuk (0.05 beteken 5 punte). Stel uiteindelik hue_helped op True of False.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.