Kurrikulum Leson 198 van 246 · Module 18: Leer sonder etikette
Module 18: Leer sonder etikette

Pas onderskrifte by prente (die CLIP-idee) (Opsioneel)

Waarom dit saak maak Teks-na-beeld soektog, en die "begrip" van beeldgenerators, begin by een truc: train 'n beeld-encoder en 'n teks-encoder sodat 'n beeld en sy ondersrift naby mekaar land. Dit is weer InfoNCE, oor twee soorte data. Hierdie les is opsioneel: dit is nie nodig vir die sertifikaat nie.

Elke foto hier kom met 'n ware ondersrift, geskryf volgens hoe dit gegenereer is: "a green ring on the left". Die prentjie-kant is die bevrore SimCLR encoder plus een trainbare laag na 16 nommers. Die teks-kant is 'n bag of words (een nommer per woord: is dit in die ondersrift?) maal een trainbare laag na 16 nommers.

Die verlies is simmetries: vir 'n batch van n pare, moet elke prentjie sy ondersrift uit die n onderskrifte kies, en elke onderskrif sy prentjie uit die n prentjies. Twee cross-entropies oor dieselfde n x n similariteitsgrid, een langs die rye en een langs die kolomme.

Die toets vra meer as "regte prent eerste": het die beste-pas prent ten minste die ondersrift se kleur? Sy objek? Sy kant?

Woorde en simbole in hierdie les
InfoNCE
cross-entropy op 'n vraag wat die batch self stel: watter ander aansig het van dieselfde prentjie gekom?
temperature
watter ooreenkomste word gedeel voor die softmax; kleiner maak die keuse skerper
SimCLR
self-gesuperviseerde opleiding met twee weergawes van elke prent en InfoNCE (Chen et al. 2020)
Jou beurt

Skryf pair_loss(a, b, temperature) (engine tensors van vorm (n, 16): normalise albei met ssl.normalize (elke ry tot lengte 1, soos in die InfoNCE-les, ooreenkomste gedeel deur die temperatuur, cross-entropy langs rye plus cross-entropy langs kolomme) en train 600 stappe van 128 pare teen temperatuur 0.1. Goed met die regte prentjie eerste vir ten minste 5% van toetsbeskrywings (kans 0.5%).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.