Pas onderskrifte by prente (die CLIP-idee) (Opsioneel)
Waarom dit saak maak Teks-na-beeld soektog, en die "begrip" van beeldgenerators, begin by een truc: train 'n beeld-encoder en 'n teks-encoder sodat 'n beeld en sy ondersrift naby mekaar land. Dit is weer InfoNCE, oor twee soorte data. Hierdie les is opsioneel: dit is nie nodig vir die sertifikaat nie.
Elke foto hier kom met 'n ware ondersrift, geskryf volgens hoe dit gegenereer is: "a green ring on the left". Die prentjie-kant is die bevrore SimCLR encoder plus een trainbare laag na 16 nommers. Die teks-kant is 'n bag of words (een nommer per woord: is dit in die ondersrift?) maal een trainbare laag na 16 nommers.
Die verlies is simmetries: vir 'n batch van n pare, moet elke prentjie sy ondersrift uit die n onderskrifte kies, en elke onderskrif sy prentjie uit die n prentjies. Twee cross-entropies oor dieselfde n x n similariteitsgrid, een langs die rye en een langs die kolomme.
Die toets vra meer as "regte prent eerste": het die beste-pas prent ten minste die ondersrift se kleur? Sy objek? Sy kant?
Woorde en simbole in hierdie les
- InfoNCE
- cross-entropy op 'n vraag wat die batch self stel: watter ander aansig het van dieselfde prentjie gekom?
- temperature
- watter ooreenkomste word gedeel voor die softmax; kleiner maak die keuse skerper
- SimCLR
- self-gesuperviseerde opleiding met twee weergawes van elke prent en InfoNCE (Chen et al. 2020)
Skryf pair_loss(a, b, temperature) (engine tensors van vorm (n, 16): normalise albei met ssl.normalize (elke ry tot lengte 1, soos in die InfoNCE-les, ooreenkomste gedeel deur die temperatuur, cross-entropy langs rye plus cross-entropy langs kolomme) en train 600 stappe van 128 pare teen temperatuur 0.1. Goed met die regte prentjie eerste vir ten minste 5% van toetsbeskrywings (kans 0.5%).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.