Programme Leçon 194 sur 246 · Module 18 : Apprendre sans étiquettes
Module 18 : Apprendre sans étiquettes

Remplir le trou (prédiction masquée)

Pourquoi c'est important La façon la plus simple de fabriquer une tâche à partir de données non étiquetées : en cacher une partie et demander au réseau de la remplir. Les modèles de langage sont entraînés exactement comme ça (cacher le mot suivant) ; les modèles d'images cachent des morceaux. Pour bien remplir un trou, un réseau doit comprendre ce qu'il y a autour.

Cache un morceau de 4 × 4 au milieu de chaque photo. Le réseau voit la fenêtre de 8 × 8 autour (les 48 autres pixels, × 3 couleurs) et prédit les 16 cachés (× 3). La perte est l'erreur quadratique moyenne. Aucune étiquette nulle part : la photo est son propre corrigé.

Deux remplissages simples à battre : la couleur moyenne de la photo (erreur d'environ 0.035) et la moyenne des pixels juste autour du trou (environ 0.019). Un réseau qui bat le second a appris quelque chose sur la façon dont les formes et la lumière se prolongent.

Mots et symboles de cette leçon
prédiction masquée
cacher une partie de l'entrée et entraîner le réseau à la remplir
À ton tour

Écris le corps de la boucle d'entraînement (400 pas de 64 photos). Tu réussis avec une erreur de validation inférieure à 0.017.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.