Embeddings Intuisie (Deterministiese Mock Embedder)
Bag-of-words het 'n fatale blinde kol: "dog" en "puppy" is verskillende woorde, so hul count vectors deel niks en hul cosine is 0, selfs al beteken hulle amper dieselfde ding. Regte embeddings los dit op deur woorde (of hele sinne) in 'n vector space te plaas waar dinge wat op soortgelyke maniere gebruik word, naby mekaar land. Die riglewende idee is die distributional hypothesis: 'n woord word geken deur die geselskap wat dit hou. Woorde wat in dieselfde kontekste verskyn, kry soortgelyke vectors.
Produksie-embeddings kom van 'n getoë baarlike netwerk (sentence-transformers) of 'n gasheer-API. Ons kan nie daardie hier hardloop nie: daar is geen GPU en geen netwerk in hierdie sandbox nie. So jy gaan 'n deterministiese mock embedder bou wat die geometrie van die regte ding vasvang sonder die getoë gewigte. Dit is eerlik oor sy beperkings en perfek vir die leer van die meganisme.
Die truc is 'n co-occurrence vector. Gegee 'n klein gekure korpus, is die embedding van 'n woord 'n telling van watter ander woorde in dieselfde dokumente as dit verskyn. As dog en puppy albei saam met park, runs, en nap is, lyn hulle konteksvektore op en is cosine hoog. invoice is eerder saam met pay en due, so dit wys elders.
Op die korpus wat saam met hierdie les verskik word, is die opbrengst konkret:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37Da ongelykheid, cosine(dog, puppy) > cosine(dog, invoice), is die hele punt van embeddings wat in een reël uitgedruk word.
Vir kontras, dit is hoe 'n regte call lyk (dit sal NIE hier loop nie, dit word net vir konteks getoon):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vectorBou embed(word, corpus, vocab) wat die ko-aanwoord-vektor vir 'n woord teruggee: 'n vaslengte-lys (een slot per woordeskatwoord) waar slot j tel hoeveel keer woordeskatwoord j saam met die teikenwoord voorkom oor alle korpusdokumente wat die teikenwoord bevat. Moenie die teikenwoord teen homself tel nie. Dieselfde woord gee altyd dieselfde vektor terug.
Skryf embed(word, corpus, vocab), 'n deterministiese mock embedder. Skande elke dokument in corpus (elke een is 'n kleinletter-string) vir die gegee woord. In dokumente wat die woord bevat, tel die ander woorde (skuif die teikenwoord self o) in 'n vocabulary-length vector. Gee dit terug as 'n lys in vocab-orde. Die resultaat is 'n co-occurrence context vector: woorde wat in soortgelyke kontekste gebruik word, kry soortgelyke vektore, soos op die les-corpus cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Dieselfde woord lewer altyd dieselfde vektor op, en die lengte is altyd gelyk aan len(vocab). Hou die starter se CORPUS en VOCAB presies soos hulle is: die check lees hulle.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.