Programma Les 225 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Een feature lezen en de lezing controleren

Waarom dit ertoe doet Een feature krijgt een naam van zijn belangrijkste voorbeelden. Die naam is een hypothese, en de meeste gepubliceerde feature labels worden nooit getest tegen tekst die de labeler niet heeft gezien.

Laad de opgenomen sparse autoencoder van de cursus (256 features, l1 0.3, getraind voor 2,000 steps van 512 vectoren, langer dan een les toelaat, en dezelfde features op elke machine) en kies voor een paar strings de feature die het meest specifiek is voor posities waar de tekst eindigt met die string. Label het dan en test het label op vastgehouden tekst:

  • precisie: van de vastgehouden plaatsen waar de feature sterk vuurt (boven de helft van zijn grootste trainingswaarde), het deel waar de tekst echt eindigt met de string;
  • recall: van de vastgehouden plaatsen die eindigen met de string, het deel waar het afgaat.

interp.top_contexts(sae, A, X, model, k) laat zien waar feature k het hardst vuurt, als de tekst tot dat karakter.

Voorspel eerst: de feature voor "tra" vuurt het hardst af op " before tra" en " layers tra" (het begin van "train"). Zal een "tra" label de meeste keren juist zijn op nieuwe tekst?

Woorden en symbolen in deze les
sparse autoencoder
een brede laag getraind om vectoren te herbouwen vanuit een paar actieve kenmerken tegelijk
precisie, recall (van een label)
van de plaatsen waar een feature vuurt, is het deel waar het label past; van de plaatsen waar het label past, is het deel waar het vuurt
Jij bent aan de beurt

Zet my_guess op "yes" of "no". Schrijf check(k, s) die (precision, recall) teruggeeft op de held-out vectoren, waar de feature afgaat op een plek wanneer de waarde daar boven de helft van de grootste waarde op de trainingsvectoren (F[:, k].max()) is. Vul results[s] = check(feature_for(s), s) in voor " the", "ing" en "tra". Zet honest_label op de strings waarvan het label standhoudt (precision ten minste 0.7) en really op de drieletterige uitgang waar de "tra" feature het meest afgaat in de held-out tekst.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.