Retrouve ton partenaire dans le lot (InfoNCE)
Pourquoi c'est important Tout le signal d'entraînement de SimCLR tient en une seule perte, et tu la connais déjà : c'est une entropie croisée, sur une question à choix multiples que le réseau se pose lui-même.
Prends un lot de n photos et fabrique deux vues aléatoires de chacune (recadrage, retournement, changement de luminosité et de couleur). Ça donne 2n vues. Pour chaque vue, la question est : laquelle des 2n - 1 autres vues vient de la même photo ? Exactement une.
- Encode chaque vue en un court vecteur z, et ramène chaque z à une longueur de 1.
- Similarité de deux vues = leur produit scalaire (le cosinus), divisé par une température (0.2 ici) : les petites températures rendent les scores plus pointus.
- Une vue ne peut pas se choisir elle-même : son propre score est mis à moins l'infini.
- Entropie croisée, la bonne réponse étant le partenaire : le partenaire de la vue i est i + n (et inversement).
Regarde la scène : six photos, deux vues chacune, la grille des similarités, et le choix de chaque ligne.
De tout petits nombres
Deux photos, donc quatre vues. Si les similarités de la vue 0 avec les vues 1, 2, 3 valent 0.1, 0.9, 0.2 (son partenaire est la vue 2), divisées par 0.2 elles deviennent 0.5, 4.5, 1.0. Softmax donne 0.954 au partenaire, et la perte de la vue 0 vaut -log 0.954 = 0.047.
Mots et symboles de cette leçon
- vue
- une copie modifiée au hasard d'une image : recadrée, retournée, plus claire, moins colorée
- InfoNCE
- une entropie croisée sur une question que le lot se pose lui-même : quelle autre vue vient de la même image ?
- température
- ce par quoi on divise les similarités avant softmax ; plus petite, elle rend le choix plus pointu
- SimCLR
- un entraînement auto-supervisé avec deux vues de chaque image et InfoNCE (Chen et al. 2020)
Écris info_nce(z, temperature) en NumPy simple pour z de forme (2n, d), qui renvoie la perte moyenne sur les 2n lignes. Puis calcule example : la perte pour le lot de quatre vues du code de départ.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.