Programma Les 139 van 246 · Module 12: Woorden als getallen (embeddings)
Module 12: Woorden als getallen (embeddings)

Vectors kopiëren hun data, inclusief scheefheden.

Waarom dit ertoe doet Embeddings leren alle patronen die de tekst bevat, inclusief patronen die niemand wil. Woordvectoren getraind op echt nieuws plaatsen sommige banen dichter bij "she" en andere dichter bij "he". Je kunt het meten, en dat moet je.

Maak een gender richting van paren die alleen verschillen in geslacht: queen minus king, woman minus man, princess minus prince, girl minus boy, opgeteld en geschaald naar lengte 1. De positie van een woord langs deze richting is zijn (eenheids)vector gespikkeld met de richting: positief neigt naar "she", negatief neigt naar "he".

De speelwereld kan een skew toevoegen: met skew 0.4 zeggen zinnen van verpleegkundigen "she" 90% van de tijd en zeggen zinnen van ingenieurs "he" 90% van de tijd. Zinnen van dokters en leraren blijven 50:50. Niets anders verandert.

Het verwijderen ervan, en de valkuil

Je kunt de component van elke baan langs de richting aftrekken, wat de positie op precies 0 zet. In deze speelwereld werkt dat bijna volledig: gemeten na verwijdering zitten verpleegkundige en ingenieur ongeveer even dicht bij "zij" en "hij" (cosinussen 0.114 en 0.118 aan beide kanten). Dat komt omdat de scheefheid hier in één woord zit, het voornaamwoord. Op woordvectoren getraind op echte tekst vonden onderzoekers het tegenovergestelde: de scheefheid is verspreid over duizenden woorden die één richting niet kan vangen, dus na verwijdering verraden de buren van een baan het nog steeds. Een schone liniaalmeting is dus geen bewijs dat de scheefheid weg is, en de eerlijke oplossing begint bij de data.

Woorden en symbolen in deze les
embedding
de rij geleerde getallen die staat voor één symbool
window
hoeveel woorden aan beide kanten tellen als de gezelschap van een woord
PPMI
hoeveel vaker twee woorden elkaar tegenkomen dan kans zou geven, met negatieven ingesteld op 0
toy wereld
a verzonnen tekst met ingebouwde structuur, zodat de juiste antwoorden bekend zijn
skew
a scheve patroon in de data die de vectoren kopiëren
Jij bent aan de beurt

Schrijf gender_direction(X) en position(X, word, g). Beide werken op eenheidsvectoren: deel eerst de vector van elk woord door de lengte, dan neem je de vier verschillen (queen minus king, woman minus man, princess minus prince, girl minus boy), tel deze op en schaal de som naar lengte 1. Een positie is de eenheidsvector van het woord gedotst met g. Vul pos in: skew (0.0 en 0.4) naar een dictionary van de posities van de vier taken, gebruik count vectoren met de hele zin als window. Schrijf dan remove(x, g) dat de component langs g verwijdert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.