Programme Leçon 196 sur 246 · Module 18 : Apprendre sans étiquettes
Module 18 : Apprendre sans étiquettes

Retrouve ton partenaire dans le lot (InfoNCE)

Pourquoi c'est important Tout le signal d'entraînement de SimCLR tient en une seule perte, et tu la connais déjà : c'est une entropie croisée, sur une question à choix multiples que le réseau se pose lui-même.

Prends un lot de n photos et fabrique deux vues aléatoires de chacune (recadrage, retournement, changement de luminosité et de couleur). Ça donne 2n vues. Pour chaque vue, la question est : laquelle des 2n - 1 autres vues vient de la même photo ? Exactement une.

  1. Encode chaque vue en un court vecteur z, et ramène chaque z à une longueur de 1.
  2. Similarité de deux vues = leur produit scalaire (le cosinus), divisé par une température (0.2 ici) : les petites températures rendent les scores plus pointus.
  3. Une vue ne peut pas se choisir elle-même : son propre score est mis à moins l'infini.
  4. Entropie croisée, la bonne réponse étant le partenaire : le partenaire de la vue i est i + n (et inversement).

Regarde la scène : six photos, deux vues chacune, la grille des similarités, et le choix de chaque ligne.

De tout petits nombres

Deux photos, donc quatre vues. Si les similarités de la vue 0 avec les vues 1, 2, 3 valent 0.1, 0.9, 0.2 (son partenaire est la vue 2), divisées par 0.2 elles deviennent 0.5, 4.5, 1.0. Softmax donne 0.954 au partenaire, et la perte de la vue 0 vaut -log 0.954 = 0.047.

Mots et symboles de cette leçon
vue
une copie modifiée au hasard d'une image : recadrée, retournée, plus claire, moins colorée
InfoNCE
une entropie croisée sur une question que le lot se pose lui-même : quelle autre vue vient de la même image ?
température
ce par quoi on divise les similarités avant softmax ; plus petite, elle rend le choix plus pointu
SimCLR
un entraînement auto-supervisé avec deux vues de chaque image et InfoNCE (Chen et al. 2020)
À ton tour

Écris info_nce(z, temperature) en NumPy simple pour z de forme (2n, d), qui renvoie la perte moyenne sur les 2n lignes. Puis calcule example : la perte pour le lot de quatre vues du code de départ.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.