Réutiliser un réseau entraîné (apprentissage par transfert)
Pourquoi c'est important Tu as rarement beaucoup de données étiquetées pour ta propre tâche. Un réseau entraîné sur un grand jeu de données voisin connaît déjà des caractéristiques utiles ; le réutiliser permet à un tout petit jeu de données d'aller loin.
Le plan : entraîner les couches de convolution sur un grand jeu de données de formes propre. Puis affronter une nouvelle tâche plus difficile avec seulement 40 images étiquetées : les mêmes formes, mais bien plus bruitées. Garde figées les couches de convolution entraînées et n'entraîne qu'une nouvelle couche finale sur des caractéristiques moyennées sur toute l'image (des caractéristiques sans position généralisent à partir de peu d'exemples). Compare avec l'entraînement de tout le réseau à partir de zéro sur les 40 images.
Figées : des couches dont les poids ne sont pas mis à jour pendant l'entraînement. Fine-tuning : continuer à entraîner un réseau préentraîné sur de nouvelles données.
Mots et symboles de cette leçon
- apprentissage par transfert
- réutiliser des couches entraînées sur une tâche pour une autre
- RECORDED
- un vrai entraînement que le cours a fait une fois et fournit pour que tu l'étudies
Le préentraînement a été fait une fois par le cours et ses poids sont chargés pour toi (un réseau enregistré). Écris train_head(w1, w2, X, y, steps) qui n'entraîne qu'une nouvelle couche de sortie de 16 vers 4 au-dessus de couches de convolution figées (Adam à 1e-2 marche) et renvoie une fonction de prédiction, et train_scratch(X, y, steps) qui entraîne les trois couches à partir de nouveaux poids aléatoires. Le test exécute les deux sur 1 000 images de test bruitées. Ton modèle par transfert doit battre le réseau à partir de zéro du cours (réglages fixes : 8 et 16 canaux, Adam 3e-3, 300 pas, environ 58 %) d'au moins 8 points ; l'exécution par transfert du cours obtient environ 72 %. Ton propre réseau à partir de zéro doit juste apprendre quelque chose (au-dessus de 35 %, là où le hasard vaut 25 %). Si le tien bat le réseau à partir de zéro du cours, bravo : bien régler un entraînement à partir de zéro est une vraie compétence, et c'est aussi pourquoi une comparaison équitable fixe les réglages à l'avance.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.