SimCLR : deux vues d'une même photo
Pourquoi c'est important Maintenant toute la méthode : des vues aléatoires plus InfoNCE, répétés. Aucune étiquette à aucun moment. Ce qu'elle apprend dépend presque entièrement d'un seul choix que tu fais : quelles différences entre deux vues on lui dit d'ignorer.
À chaque pas : prends un lot de photos, fabrique deux vues aléatoires de chacune avec ssl.augment, encode les deux, projette-les avec une petite tête, et minimise InfoNCE. Les augmentations définissent la tâche : tout ce qui diffère entre deux vues d'une même photo (position du recadrage, image en miroir, luminosité, saturation) est ce que le réseau apprend à ignorer. Tout ce qui reste identique (l'objet) est ce qu'il apprend à garder.
Les vraies exécutions de SimCLR utilisent des milliers de pas et de gros lots. Ici, tu en fais une courte en direct (largeur 8, lot 32, 80 pas) pour voir la perte baisser, puis tu lis les longues exécutions enregistrées du cours (largeur 32, 2500 pas de 128).
Les exécutions enregistrées comprennent deux variantes de la même recette : ajouter une rotation de teinte aléatoire aux vues (l'article SimCLR a trouvé que de forts changements de couleur étaient essentiels sur ses photos), et une température plus haute (0.5).
Où en est le domaine SimCLR a besoin de beaucoup de négatifs (d'autres photos du lot), donc il s'entraîne mieux avec de très gros lots (l'article utilisait 4 096). Des méthodes plus récentes se passent des négatifs : BYOL (2020) et DINO (2021) entraînent un réseau à correspondre à une copie de lui-même mise à jour lentement, et MAE (2021) cache les trois quarts des morceaux d'une image et les reconstruit, la version image du remplissage de trou de ce module. Pour le texte, le même partage existe : la prédiction masquée (BERT) et la prédiction du token suivant (GPT).
Mots et symboles de cette leçon
- prédiction masquée
- cacher une partie de l'entrée et entraîner le réseau à la remplir
- vue
- une copie modifiée au hasard d'une image : recadrée, retournée, plus claire, moins colorée
- augmentation
- le changement aléatoire qui fabrique une vue ; il décide de ce que le réseau apprend à ignorer
- InfoNCE
- une entropie croisée sur une question que le lot se pose lui-même : quelle autre vue vient de la même image ?
- température
- ce par quoi on divise les similarités avant softmax ; plus petite, elle rend le choix plus pointu
- SimCLR
- un entraînement auto-supervisé avec deux vues de chaque image et InfoNCE (Chen et al. 2020)
Lance le préentraînement en direct et remplis live avec la perte moyenne sur les 10 premiers et les 10 derniers pas. Puis remplis report à partir des exécutions enregistrées : la justesse de la sonde (objets d'origine) pour les pixels bruts, l'encodeur aléatoire, SimCLR, SimCLR avec rotation de teinte, et le supervisé, plus gap, de combien SimCLR est derrière le supervisé, sous forme de fraction (0.05 veut dire 5 points). Enfin, affecte à hue_helped True ou False.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.