I vettori copiano i loro dati, distorsioni comprese
Perché è importante Gli embedding imparano qualsiasi schema contenga il testo, compresi quelli che nessuno vuole. I vettori di parole addestrati su notizie vere mettono alcuni lavori più vicini a "she" e altri più vicini a "he". Puoi misurarlo, e dovresti.
Crea una direzione del genere da coppie che differiscono solo per il genere: queen meno king, woman meno man, princess meno prince, girl meno boy, sommate e scalate a lunghezza 1. La posizione di una parola lungo di essa è il suo vettore (unitario) per la direzione: positivo pende verso "she", negativo verso "he".
Il mondo giocattolo può aggiungere una distorsione: con distorsione 0.4, le frasi sulla nurse dicono "she" il 90% delle volte e le frasi sull'engineer dicono "he" il 90% delle volte. Doctor e teacher restano 50 e 50. Nient'altro cambia.
Toglierla, e il tranello
Puoi sottrarre la componente di ogni lavoro lungo la direzione, il che porta la sua posizione esattamente a 0. In questo mondo giocattolo funziona quasi del tutto: misurati dopo la rimozione, nurse ed engineer stanno più o meno ugualmente vicini a "she" e "he" (coseni 0.114 e 0.118 in entrambi i sensi). È perché qui la distorsione vive in una parola, il pronome. Sui vettori di parole addestrati su testo vero, i ricercatori hanno trovato il contrario: la distorsione è sparsa su migliaia di parole che una direzione non riesce a catturare, quindi dopo la rimozione i vicini di un lavoro lo tradiscono ancora. Quindi una lettura pulita del righello non è la prova che la distorsione sia sparita, e la correzione onesta parte dai dati.
Parole e simboli di questa lezione
- embedding
- la riga di numeri appresi che rappresenta un simbolo
- finestra
- quante parole da ogni lato contano come compagnia di una parola
- PPMI
- quanto più spesso due parole si incontrano rispetto al caso, con i negativi messi a 0
- mondo giocattolo
- un testo inventato con una struttura piantata, così le risposte giuste sono note
- distorsione
- uno schema sbilanciato nei dati che i vettori copiano
Scrivi gender_direction(X) e position(X, word, g). Entrambe lavorano su vettori unitari: dividi prima il vettore di ogni parola per la sua lunghezza, poi prendi le quattro differenze (queen meno king, woman meno man, princess meno prince, girl meno boy), sommale e scala la somma a lunghezza 1. Una posizione è il vettore unitario della parola per g. Riempi pos: dalla distorsione (0.0 e 0.4) a un dict delle posizioni dei quattro lavori, usando vettori di conteggio con tutta la frase come finestra. Poi scrivi remove(x, g) che toglie la componente lungo g.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.