Programme Leçon 225 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Lire une caractéristique, et vérifier la lecture

Pourquoi c'est important Une caractéristique reçoit un nom d'après ses meilleurs exemples. Ce nom est une hypothèse, et la plupart des étiquettes de caractéristiques publiées ne sont jamais testées sur du texte que l'étiqueteur n'a pas vu.

Charge l'autoencodeur clairsemé enregistré du cours (256 caractéristiques, l1 0.3, entraîné pendant 2,000 pas de 512 vecteurs, plus long qu'une leçon ne le permet, et les mêmes caractéristiques sur toutes les machines) et choisis, pour quelques chaînes, la caractéristique la plus propre aux positions où le texte finit par cette chaîne. Puis étiquette-la et teste l'étiquette sur du texte mis de côté :

  • précision : parmi les endroits mis de côté où la caractéristique s'active fort (au-dessus de la moitié de sa plus grande valeur à l'entraînement), la part où le texte finit vraiment par la chaîne ;
  • rappel : parmi les endroits mis de côté qui finissent par la chaîne, la part où elle s'active.

interp.top_contexts(sae, A, X, model, k) montre où la caractéristique k s'active le plus fort, sous forme du texte jusqu'à ce caractère.

Prédis d'abord : la caractéristique de "tra" s'active le plus fort sur " before tra" et " layers tra" (le début de "train"). Une étiquette "tra" aura-t-elle raison la plupart du temps sur du texte nouveau ?

Mots et symboles de cette leçon
autoencodeur clairsemé
une couche large entraînée à reconstruire des vecteurs à partir de quelques caractéristiques actives à la fois
précision, rappel (d'une étiquette)
parmi les endroits où une caractéristique s'active, la part où l'étiquette convient ; parmi les endroits où l'étiquette convient, la part où elle s'active
À ton tour

Affecte à my_guess "yes" ou "no". Écris check(k, s) qui renvoie (précision, rappel) sur les vecteurs mis de côté, où la caractéristique s'active à un endroit quand sa valeur y dépasse la moitié de sa plus grande valeur sur les vecteurs d'entraînement (F[:, k].max()). Remplis results[s] = check(feature_for(s), s) pour " the", "ing" et "tra". Affecte à honest_label les chaînes dont l'étiquette tient (précision d'au moins 0.7) et à really la terminaison de trois lettres sur laquelle la caractéristique "tra" s'active le plus dans le texte mis de côté.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.