Embeddings Intuïtie (Deterministische Mock Embedder)
Bag-of-words heeft een fataal blinde vlek: "dog" en "puppy" zijn verschillende woorden, dus hun count vectoren delen niets en hun cosinus is 0, ook al betekenen ze bijna hetzelfde. Echte embeddings lossen dit op door woorden (of hele zinnen) in een vectorruimte te plaatsen waar dingen die op vergelijkbare manieren worden gebruikt dicht bij elkaar liggen. Het leidende idee is de distributional hypothesis: een woord wordt gekend door het gezelschap dat het houdt. Woorden die in dezelfde contexten verschijnen krijgen vergelijkbare vectoren.
Productie-embeddings komen van een getraind neuraal netwerk (sentence-transformers) of een gehoste API. We kunnen die hier niet draaien: er is geen GPU en geen netwerk in deze sandbox. Je gaat dus een deterministische mock embedder bouwen die de geometrie van het echte ding vastlegt zonder de getrainde gewichten. Het is eerlijk over zijn beperkingen en perfect voor het leren van het mechanisme.
De truc is een co-occurrence vector. Gegeven een klein gecureerd corpus, is de embedding van een woord een telling van welke andere woorden in dezelfde documenten verschijnen als het. Als dog en puppy beide gezelschap houden met park, runs, en nap, dan lijnen hun contextvectoren uit en is de cosinus hoog. invoice houdt in plaats daarvan gezelschap met pay en due, dus wijst het ergens anders naar.
Op het corpus dat bij deze les wordt geleverd, is de opbrengst concreet:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37Die ongelijkheid, cosine(dog, puppy) > cosine(dog, invoice), is de hele essentie van embeddings uitgedrukt in één regel.
Voor contrast, dit is hoe een echte call eruitziet (het zal hier NIET draaien, het wordt alleen getoond voor context):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vectorBuild embed(word, corpus, vocab) dat de co-occurrence vector voor een woord teruggeeft: een lijst met een vaste lengte (één plek per vocabulairewoord) waarbij plek j telt hoe vaak vocabulairewoord j samen voorkomt met het doelwoord in alle corpusdocumenten die het doelwoord bevatten. Tel het doelwoord niet bij zichzelf op. Hetzelfde woord geeft altijd dezelfde vector terug.
Schrijf embed(word, corpus, vocab), een deterministische mock embedder. Scan voor het gegeven woord elk document in corpus (elk een lowercase string). In documenten die het woord bevatten, tel je de andere woorden (negeer het doelwoord zelf) in een vector van de lengte van het vocabulaire, geretourneerd als een lijst in vocab volgorde. Het resultaat is een co-occurrence context vector: woorden die in vergelijkbare contexten worden gebruikt krijgen vergelijkbare vectoren, dus op de lescorpus cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Hetzelfde woord levert altijd dezelfde vector op, en de lengte is altijd gelijk aan len(vocab). Houd de CORPUS en VOCAB van de starter zoals ze zijn: de check leest deze.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.