Ondertitels koppelen aan afbeeldingen (het CLIP idee) (Optioneel)
Waarom dit ertoe doet Text-naar-beeld zoeken, en het "begrijpen" deel van beeldgeneratoren, begint bij één truc: train een picture encoder en een text encoder zodat een beeld en zijn bijschrift dicht bij elkaar landen. Het is opnieuw InfoNCE, over twee soorten data. Deze les is optioneel: het is niet nodig voor het certificaat.
Elke foto hier heeft een echt bijschrift, geschreven op basis van hoe het is gegenereerd: "een groene ring links". De beeldzijde is de bevroren SimCLR encoder plus één trainbare laag naar 16 getallen. De tekstzijde is een bag of words (één getal per woord: staat het in het bijschrift?) keer één trainbare laag naar 16 getallen.
De loss is symmetric: voor een batch van n paren moet elk plaatje zijn bijschrift kiezen uit de n bijschriften, en elk bijschrift zijn plaatje uit de n plaatjes. Twee cross-entropies over hetzelfde n x n similarity grid, één langs de rijen en één langs de kolommen.
De test vraagt om meer dan "juiste afbeelding eerst": heeft de best passende afbeelding tenminste de kleur van het bijschrift? Het object? De zijde?
Woorden en symbolen in deze les
- InfoNCE
- cross-entropy op een vraag die de batch zelf stelt: welke andere weergave kwam van dezelfde foto?
- temperature
- welke overeenkomsten worden gedeeld voor de softmax; kleiner maakt de keuze scherper
- SimCLR
- zelf-gecorrigeerde training met twee weergaven van elke afbeelding en InfoNCE (Chen et al. 2020)
Schrijf pair_loss(a, b, temperature) (engine tensors van vorm (n, 16): normaliseer beide met ssl.normalize (elke rij naar lengte 1, zoals in de InfoNCE les), gelijkenissen gedeeld door de temperatuur, cross-entropy langs rijen plus cross-entropy langs kolommen) en train 600 stappen van 128 paren bij temperatuur 0.1. Geef de juiste afbeelding eerst voor ten minste 5% van de test captions (kans 0.5%).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.