Programme Leçon 195 sur 246 · Module 18 : Apprendre sans étiquettes
Module 18 : Apprendre sans étiquettes

Tester des caractéristiques avec un classifieur simple (sondes linéaires)

Pourquoi c'est important Les plus proches voisins ont donné une réponse approximative. Le test standard des caractéristiques apprises est une sonde linéaire : fige les caractéristiques, n'entraîne qu'un classifieur linéaire par-dessus avec quelques étiquettes, et mesure-le sur de nouvelles photos. Si une ligne droite peut séparer les objets, ce sont les caractéristiques qui ont fait le travail difficile.

La sonde est la régression softmax du module 3, sur des caractéristiques au lieu de pixels :

  1. Standardise chaque caractéristique avec la moyenne et la dispersion du jeu d'entraînement (et utilise les mêmes nombres sur le jeu de test).
  2. Descente de gradient sur l'entropie croisée, toutes les lignes d'entraînement d'un coup : 1000 pas, taille de pas 0.5, décroissance des poids 0.001.
  3. La justesse sur les photos de test.

Elle est volontairement faible : un modèle linéaire avec 400 étiquettes. C'est le but. Elle ne peut pas inventer de bonnes caractéristiques ; elle ne peut que lire ce que les caractéristiques disent déjà.

Mots et symboles de cette leçon
sonde linéaire
un classifieur linéaire entraîné sur des caractéristiques figées : un test de ce que les caractéristiques disent déjà
SimCLR
un entraînement auto-supervisé avec deux vues de chaque image et InfoNCE (Chen et al. 2020)
À ton tour

Écris my_probe(F_train, y_train, F_test, y_test) comme décrit (les poids et les biais commencent à zéro). Puis remplis accuracy pour un encodeur aléatoire (ssl.Encoder(32, seed=0)) et l'encodeur SimCLR enregistré avec ta sonde. La référence sur les pixels bruts (768 nombres par photo) est calculée pour toi avec la sonde du cours, qui fait la même arithmétique en float32 sur le produit matriciel rapide : ta version en float64 prendrait une demi-minute sur 768 entrées dans le navigateur.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.