Lehrplan Lektion 198 von 246 · Modul 18: Lernen ohne Labels
Modul 18: Lernen ohne Labels

Bildunterschriften zu Bildern anpassen (die CLIP-Idee) (Optional)

Warum das wichtig ist Bildsuche per Text, und der "Verstehens"-Teil von Bildgeneratoren, beginnen mit einem Trick: Trainiere einen Bild-Encoder und einen Text-Encoder so, dass ein Bild und seine Bildunterschrift nah beieinander landen. Es ist wieder InfoNCE, über zwei Arten von Daten. Diese Lektion ist freiwillig: Sie wird für das Zertifikat nicht gebraucht.

Jedes Foto hier hat eine wahre Bildunterschrift, geschrieben danach, wie es erzeugt wurde: "a green ring on the left". Die Bildseite ist der eingefrorene SimCLR-Encoder plus eine trainierbare Schicht auf 16 Zahlen. Die Textseite ist ein Bag of Words (eine Zahl pro Wort: Kommt es in der Bildunterschrift vor?) mal eine trainierbare Schicht auf 16 Zahlen.

Der Verlust ist symmetrisch: Für einen Batch aus n Paaren muss jedes Bild seine Bildunterschrift aus den n Bildunterschriften wählen, und jede Bildunterschrift ihr Bild aus den n Bildern. Zwei Kreuzentropien über dasselbe n × n Ähnlichkeitsraster, eine entlang der Zeilen und eine entlang der Spalten.

Der Test fragt mehr als "richtiges Bild zuerst": Hat das am besten passende Bild wenigstens die Farbe der Bildunterschrift? Ihr Objekt? Ihre Seite?

Wörter und Symbole in dieser Lektion
InfoNCE
Kreuzentropie auf eine Frage, die sich der Batch selbst stellt: Welche andere Ansicht kam vom selben Bild?
Temperatur
wodurch Ähnlichkeiten vor dem Softmax geteilt werden; kleiner macht die Wahl schärfer
SimCLR
selbstüberwachtes Training mit zwei Ansichten jedes Bildes und InfoNCE (Chen et al. 2020)
Du bist dran

Schreibe pair_loss(a, b, temperature) (engine tensors of shape (n, 16): normalisiere beide mit ssl.normalize (jede Zeile auf Länge 1, wie in der InfoNCE-Lektion), Ähnlichkeiten geteilt durch die Temperatur, Cross-Entropy entlang der Zeilen plus Cross-Entropy entlang der Spalten) und trainiere 600 steps von 128 Paaren bei Temperatur 0.1. Bestehe mit dem richtigen Bild zuerst für mindestens 5% der Test-Captions (Chance 0.5%).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.