Leggere una feature, e controllare la lettura
Perché è importante Una feature riceve un nome dai suoi esempi migliori. Quel nome è un'ipotesi, e la maggior parte delle etichette di feature pubblicate non viene mai testata su testo che chi l'ha data non aveva visto.
Carica lo sparse autoencoder registrato del corso (256 feature, l1 0.3, addestrato per 2,000 passi da 512 vettori, più a lungo di quanto permetta una lezione, e con le stesse feature su ogni macchina) e scegli, per alcune stringhe, la feature più specifica per le posizioni in cui il testo finisce con quella stringa. Poi dalle un'etichetta e testa l'etichetta su testo tenuto da parte:
- precisione: dei punti tenuti da parte in cui la feature si attiva con forza (sopra metà del suo valore più grande in addestramento), la quota in cui il testo finisce davvero con la stringa;
- richiamo: dei punti tenuti da parte che finiscono con la stringa, la quota in cui si attiva.
interp.top_contexts(sae, A, X, model, k) mostra dove la feature k si attiva di più, come il testo fino a quel carattere.
Prima prevedi: la feature per "tra" si attiva di più su " before tra" e " layers tra" (l'inizio di "train"). Un'etichetta "tra" sarà giusta la maggior parte delle volte su testo nuovo?
Parole e simboli di questa lezione
- sparse autoencoder
- un layer largo addestrato a ricostruire vettori da poche feature attive alla volta
- precisione, richiamo (di un'etichetta)
- dei punti in cui una feature si attiva, la quota in cui l'etichetta è giusta; dei punti in cui l'etichetta è giusta, la quota in cui si attiva
Imposta my_guess su "yes" o "no". Scrivi check(k, s) che restituisce (precisione, richiamo) sui vettori tenuti da parte, dove la feature si attiva in un punto quando il suo valore lì è sopra metà del suo valore più grande sui vettori di addestramento (F[:, k].max()). Riempi results[s] = check(feature_for(s), s) per " the", "ing" e "tra". Imposta honest_label sulle stringhe la cui etichetta regge (precisione almeno 0.7) e really sulla terminazione di tre lettere su cui la feature "tra" si attiva di più nel testo tenuto da parte.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.