Vektore kopieer hul data, insluitend skewes.
Waarom dit saak maak Embeddings leer enige patrone wat die teks bevat, insluitend dié wat niemand wil hê nie. Woordvektore wat op regte nuus opgelei is, plaas sommige poste nader aan "she" en ander nader aan "he". Jy kan dit meet, en jy moet dit doen.
Maak 'n geslagrigting uit pare wat net in geslag verskil: queen minus king, woman minus man, princess minus prince, girl minus boy, bymeka opgetel en geskaal tot lengte 1. 'n Woord se posisie langs dit is sy (eenheid) vektor wat met die rigting geskoot word: positief neig "sy", negatief neig "hy".
Die speelwêreld kan 'n skew: met skew 0.4 sê verpleegster-sinne "she" 90% van die tyd en ingenieur-sinne sê "he" 90% van die tyd. Dokters en onderwysers bly 50:50. Niks anders verander nie.
Verwyder dit, en die vang
Jy kan elke werk se komponent langs die rigting aftrek, wat die posisie daarvan presies op 0 stel. In hierdie speelwêreld werk dit byna heeltemal: gemeet na verwydering sit verpleegster en ingenieur omtrent gelyk naby aan "sy" en "hy" (cosines 0.114 en 0.118 aan beide kante). Dit is omdat die skew hier in een woord leef, die voornaamwoord. Op woordvektore wat op regte teks opgelei is, het navorsers die teenoorgestelde gevind: die skew is versprei oor duisende woorde wat een rigting nie kan vasvang nie, so na verwydering gee 'n werk se bure dit steeds weg. 'n Skoon liniaallesing is dus nie bewys dat die skew weg is nie, en die eerlike regstelling begin by die data.
Woorde en simbole in hierdie les
- embedding
- die ry van geleerde nommers wat vir een simbool staan
- venster
- hoeveel woorde aan weerskant tel as 'n woord se geselskap
- PPMI
- hoeveel meer gereeld ontmoet twee woorde as wat kans sou gee, met negatiewes gestel op 0
- toy world
- a denkbeeldige teks met ingebedde struktuur, sodat die regte antwoorde bekend is
- skew
- a skeef patroon in die data wat die vectors kopieer
Skryf gender_direction(X) en position(X, word, g). Albei werk op eenheidsvektore: deel elke woord se vektor deur sy lengte eerste, dan neem die vier verskille (queen minus king, woman minus man, princess minus prince, girl minus boy), tel hulle bymekaar en skaal die som na lengte 1. 'n Posisie is die woord se eenheidsvektor gespreek met g. Vul pos in: skew (0.0 en 0.4) na 'n dict van die vier take se posisies, deur count vektore met die hele sin as die venster te gebruik. Skryf dan remove(x, g) wat die komponent langs g uithaal.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.