Remplir le trou (prédiction masquée)
Pourquoi c'est important La façon la plus simple de fabriquer une tâche à partir de données non étiquetées : en cacher une partie et demander au réseau de la remplir. Les modèles de langage sont entraînés exactement comme ça (cacher le mot suivant) ; les modèles d'images cachent des morceaux. Pour bien remplir un trou, un réseau doit comprendre ce qu'il y a autour.
Cache un morceau de 4 × 4 au milieu de chaque photo. Le réseau voit la fenêtre de 8 × 8 autour (les 48 autres pixels, × 3 couleurs) et prédit les 16 cachés (× 3). La perte est l'erreur quadratique moyenne. Aucune étiquette nulle part : la photo est son propre corrigé.
Deux remplissages simples à battre : la couleur moyenne de la photo (erreur d'environ 0.035) et la moyenne des pixels juste autour du trou (environ 0.019). Un réseau qui bat le second a appris quelque chose sur la façon dont les formes et la lumière se prolongent.
Mots et symboles de cette leçon
- prédiction masquée
- cacher une partie de l'entrée et entraîner le réseau à la remplir
Écris le corps de la boucle d'entraînement (400 pas de 64 photos). Tu réussis avec une erreur de validation inférieure à 0.017.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.