Programme Leçon 198 sur 246 · Module 18 : Apprendre sans étiquettes
Module 18 : Apprendre sans étiquettes

Associer des légendes à des images (l'idée de CLIP) (facultatif)

Pourquoi c'est important La recherche d'images par le texte, et la partie « compréhension » des générateurs d'images, partent d'une seule astuce : entraîner un encodeur d'images et un encodeur de texte pour qu'une image et sa légende tombent près l'une de l'autre. C'est encore InfoNCE, entre deux sortes de données. Cette leçon est facultative : elle n'est pas nécessaire pour le certificat.

Chaque photo ici vient avec une légende vraie, écrite d'après la façon dont elle a été générée : « a green ring on the left ». Le côté image est l'encodeur SimCLR figé plus une couche entraînable vers 16 nombres. Le côté texte est un sac de mots (un nombre par mot : est-il dans la légende ?) fois une couche entraînable vers 16 nombres.

La perte est symétrique : pour un lot de n paires, chaque image doit choisir sa légende parmi les n légendes, et chaque légende son image parmi les n images. Deux entropies croisées sur la même grille de similarités n × n, l'une le long des lignes et l'autre le long des colonnes.

Le test demande plus que « la bonne image en premier » : la meilleure image correspondante a-t-elle au moins la couleur de la légende ? Son objet ? Son côté ?

Mots et symboles de cette leçon
InfoNCE
une entropie croisée sur une question que le lot se pose lui-même : quelle autre vue vient de la même image ?
température
ce par quoi on divise les similarités avant softmax ; plus petite, elle rend le choix plus pointu
SimCLR
un entraînement auto-supervisé avec deux vues de chaque image et InfoNCE (Chen et al. 2020)
À ton tour

Écris pair_loss(a, b, temperature) (des tenseurs du moteur de forme (n, 16) : normalise les deux avec ssl.normalize (chaque ligne à une longueur de 1, comme dans la leçon sur InfoNCE), similarités divisées par la température, entropie croisée le long des lignes plus entropie croisée le long des colonnes) et entraîne 600 pas de 128 paires à une température de 0.1. Tu réussis avec la bonne image en premier pour au moins 5 % des légendes de test (le hasard donne 0.5 %).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.