Programma Les 140 van 246 · Module 12: Woorden als getallen (embeddings)
Module 12: Woorden als getallen (embeddings)

Gate: woordvectoren voor een nieuwe wereld (AI uit)

Waarom dit ertoe doet Het bouwen van woordvectoren uit ruwe zinnen, controleren wat ze hebben geleerd, en het verwijderen van een scheefheid die ze kopieerden, alleen, is deze module in één taak.

AI uit. De check geeft je functies een wereld die je niet hebt gezien: nieuwe zinnen van een andere seed, met nurse en engineer schief naar she en he. Niets hierover is in je namespace.

Woorden en symbolen in deze les
window
hoeveel woorden aan beide kanten tellen als de gezelschap van een woord
PPMI
hoeveel vaker twee woorden elkaar tegenkomen dan kans zou geven, met negatieven ingesteld op 0
skew
a scheve patroon in de data die de vectoren kopiëren
Jij bent aan de beurt

Schrijf word_vectors(sents, vocab): tel co-occurrences binnen elke zin met je keuze van window WINDOW, en retourneer ppmi(counts), één rij per woord van vocab. Schrijf debias(X, vocab): retourneer een kopie van X waarin de vier banen (nurse, engineer, doctor, teacher) de gender richting hebben verloren (unit vectors, vier paren, zoals in de vorige les), elke andere rij onveranderd. De check scoort de 72 analogieën op zijn eigen wereld (minstens 95% goed) en meet daarna de positie van elke baan op de gender richting na je debias (alles binnen 0.05 van nul).

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.