Programma Les 145 van 250 · Embeddings & Semantische Zoekopdracht vanaf het begin
Embeddings & Semantische Zoekopdracht vanaf het begin

Embeddings Intuïtie (Deterministische Mock Embedder)

Bag-of-words heeft een fataal blinde vlek: "dog" en "puppy" zijn verschillende woorden, dus hun count vectoren delen niets en hun cosinus is 0, ook al betekenen ze bijna hetzelfde. Echte embeddings lossen dit op door woorden (of hele zinnen) in een vectorruimte te plaatsen waar dingen die op vergelijkbare manieren worden gebruikt dicht bij elkaar liggen. Het leidende idee is de distributional hypothesis: een woord wordt gekend door het gezelschap dat het houdt. Woorden die in dezelfde contexten verschijnen krijgen vergelijkbare vectoren.

Productie-embeddings komen van een getraind neuraal netwerk (sentence-transformers) of een gehoste API. We kunnen die hier niet draaien: er is geen GPU en geen netwerk in deze sandbox. Je gaat dus een deterministische mock embedder bouwen die de geometrie van het echte ding vastlegt zonder de getrainde gewichten. Het is eerlijk over zijn beperkingen en perfect voor het leren van het mechanisme.

De truc is een co-occurrence vector. Gegeven een klein gecureerd corpus, is de embedding van een woord een telling van welke andere woorden in dezelfde documenten verschijnen als het. Als dog en puppy beide gezelschap houden met park, runs, en nap, dan lijnen hun contextvectoren uit en is de cosinus hoog. invoice houdt in plaats daarvan gezelschap met pay en due, dus wijst het ergens anders naar.

Op het corpus dat bij deze les wordt geleverd, is de opbrengst concreet:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Die ongelijkheid, cosine(dog, puppy) > cosine(dog, invoice), is de hele essentie van embeddings uitgedrukt in één regel.

Voor contrast, dit is hoe een echte call eruitziet (het zal hier NIET draaien, het wordt alleen getoond voor context):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Build embed(word, corpus, vocab) dat de co-occurrence vector voor een woord teruggeeft: een lijst met een vaste lengte (één plek per vocabulairewoord) waarbij plek j telt hoe vaak vocabulairewoord j samen voorkomt met het doelwoord in alle corpusdocumenten die het doelwoord bevatten. Tel het doelwoord niet bij zichzelf op. Hetzelfde woord geeft altijd dezelfde vector terug.

Jij bent aan de beurt

Schrijf embed(word, corpus, vocab), een deterministische mock embedder. Scan voor het gegeven woord elk document in corpus (elk een lowercase string). In documenten die het woord bevatten, tel je de andere woorden (negeer het doelwoord zelf) in een vector van de lengte van het vocabulaire, geretourneerd als een lijst in vocab volgorde. Het resultaat is een co-occurrence context vector: woorden die in vergelijkbare contexten worden gebruikt krijgen vergelijkbare vectoren, dus op de lescorpus cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Hetzelfde woord levert altijd dezelfde vector op, en de lengte is altijd gelijk aan len(vocab). Houd de CORPUS en VOCAB van de starter zoals ze zijn: de check leest deze.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.