Tester des caractéristiques avec un classifieur simple (sondes linéaires)
Pourquoi c'est important Les plus proches voisins ont donné une réponse approximative. Le test standard des caractéristiques apprises est une sonde linéaire : fige les caractéristiques, n'entraîne qu'un classifieur linéaire par-dessus avec quelques étiquettes, et mesure-le sur de nouvelles photos. Si une ligne droite peut séparer les objets, ce sont les caractéristiques qui ont fait le travail difficile.
La sonde est la régression softmax du module 3, sur des caractéristiques au lieu de pixels :
- Standardise chaque caractéristique avec la moyenne et la dispersion du jeu d'entraînement (et utilise les mêmes nombres sur le jeu de test).
- Descente de gradient sur l'entropie croisée, toutes les lignes d'entraînement d'un coup : 1000 pas, taille de pas 0.5, décroissance des poids 0.001.
- La justesse sur les photos de test.
Elle est volontairement faible : un modèle linéaire avec 400 étiquettes. C'est le but. Elle ne peut pas inventer de bonnes caractéristiques ; elle ne peut que lire ce que les caractéristiques disent déjà.
Mots et symboles de cette leçon
- sonde linéaire
- un classifieur linéaire entraîné sur des caractéristiques figées : un test de ce que les caractéristiques disent déjà
- SimCLR
- un entraînement auto-supervisé avec deux vues de chaque image et InfoNCE (Chen et al. 2020)
Écris my_probe(F_train, y_train, F_test, y_test) comme décrit (les poids et les biais commencent à zéro). Puis remplis accuracy pour un encodeur aléatoire (ssl.Encoder(32, seed=0)) et l'encodeur SimCLR enregistré avec ta sonde. La référence sur les pixels bruts (768 nombres par photo) est calculée pour toi avec la sonde du cours, qui fait la même arithmétique en float32 sur le produit matriciel rapide : ta version en float64 prendrait une demi-minute sur 768 entrées dans le navigateur.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.