Een feature lezen en de lezing controleren
Waarom dit ertoe doet Een feature krijgt een naam van zijn belangrijkste voorbeelden. Die naam is een hypothese, en de meeste gepubliceerde feature labels worden nooit getest tegen tekst die de labeler niet heeft gezien.
Laad de opgenomen sparse autoencoder van de cursus (256 features, l1 0.3, getraind voor 2,000 steps van 512 vectoren, langer dan een les toelaat, en dezelfde features op elke machine) en kies voor een paar strings de feature die het meest specifiek is voor posities waar de tekst eindigt met die string. Label het dan en test het label op vastgehouden tekst:
- precisie: van de vastgehouden plaatsen waar de feature sterk vuurt (boven de helft van zijn grootste trainingswaarde), het deel waar de tekst echt eindigt met de string;
- recall: van de vastgehouden plaatsen die eindigen met de string, het deel waar het afgaat.
interp.top_contexts(sae, A, X, model, k) laat zien waar feature k het hardst vuurt, als de tekst tot dat karakter.
Voorspel eerst: de feature voor "tra" vuurt het hardst af op " before tra" en " layers tra" (het begin van "train"). Zal een "tra" label de meeste keren juist zijn op nieuwe tekst?
Woorden en symbolen in deze les
- sparse autoencoder
- een brede laag getraind om vectoren te herbouwen vanuit een paar actieve kenmerken tegelijk
- precisie, recall (van een label)
- van de plaatsen waar een feature vuurt, is het deel waar het label past; van de plaatsen waar het label past, is het deel waar het vuurt
Zet my_guess op "yes" of "no". Schrijf check(k, s) die (precision, recall) teruggeeft op de held-out vectoren, waar de feature afgaat op een plek wanneer de waarde daar boven de helft van de grootste waarde op de trainingsvectoren (F[:, k].max()) is. Vul results[s] = check(feature_for(s), s) in voor " the", "ing" en "tra". Zet honest_label op de strings waarvan het label standhoudt (precision ten minste 0.7) en really op de drieletterige uitgang waar de "tra" feature het meest afgaat in de held-out tekst.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.