Lehrplan Lektion 145 von 250 · Embeddings & Semantische Suche von Grund auf
Embeddings & Semantische Suche von Grund auf

Embeddings Intuition (Deterministischer Mock Embedder)

Bag-of-words hat einen fatalen blinden Fleck: "dog" und "puppy" sind verschiedene Wörter, also teilen ihre Zählvektoren nichts und ihr Cosinus ist 0, obwohl sie fast dasselbe bedeuten. Echte embeddings beheben das, indem sie Wörter (oder ganze Sätze) in einen Vektorraum setzen, wo Dinge, die in ähnlichen Wegen verwendet werden, nah beieinander landen. Die leitende Idee ist die distributional hypothesis: Ein Wort wird durch die Gesellschaft bekannt, in der es sich befindet. Wörter, die in denselben Kontexten erscheinen, erhalten ähnliche Vektoren.

Production embeddings kommen von einem trainierten neuronalen Netzwerk (sentence-transformers) oder einer gehosteten API. Wir können diese hier nicht ausführen: es gibt keine GPU und kein Netzwerk in dieser Sandbox. Also wirst du einen deterministischen Mock Embedder bauen, der die Geometrie der echten Sache ohne die trainierten Gewichte erfasst. Er ist ehrlich über seine Grenzen und perfekt für das Lernen des Mechanismus.

Der Trick ist ein co-occurrence vector. Bei einem kleinen kuratierten Korpus ist das Embedding eines Wortes eine Zählung, welche anderen Wörter in denselben Dokumenten wie es erscheinen. Wenn dog und puppy beide park, runs und nap Gesellschaft leisten, liegen ihre Kontextvektoren nah beieinander und der Cosinus ist hoch. invoice leistet stattdessen pay und due Gesellschaft, also zeigt es woanders hin.

Im Korpus, das mit dieser Lektion geliefert wird, ist der Nutzen konkret:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Diese Ungleichung, cosine(dog, puppy) > cosine(dog, invoice), ist der ganze Punkt von Embeddings ausgedrückt in einer Zeile.

Zum Vergleich sieht ein echter Aufruf so aus (er wird hier NICHT ausgeführt, er wird nur zur Veranschaulichung gezeigt):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Build embed(word, corpus, vocab), die den Ko-Okkurrenz-Vektor für ein Wort zurückgibt: eine Liste mit fester Länge (ein Platz pro Vokabelwort), wobei Platz j zählt, wie oft das Vokabelwort j mit dem Zielwort in allen Korpus-Dokumenten vorkommt, die das Zielwort enthalten. Zähle das Zielwort nicht gegen sich selbst. Das gleiche Wort gibt immer den gleichen Vektor zurück.

Du bist dran

Schreibe embed(word, corpus, vocab), einen deterministischen Mock-Embedder. Scanne für das gegebene Wort jedes Dokument in corpus (jedes ein Kleinbuchstaben-String). In Dokumenten, die das Wort enthalten, zähle die anderen Wörter (überspringe das Zielwort selbst) in einen Vektor der Vokabularlänge ein, der als Liste in vocab-Reihenfolge zurückgegeben wird. Das Ergebnis ist ein Co-occurrence-Kontextvektor: Wörter, die in ähnlichen Kontexten verwendet werden, erhalten ähnliche Vektoren, so auf dem Lektionen-Korpus cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Das gleiche Wort liefert immer den gleichen Vektor, und die Länge entspricht immer len(vocab). Behalte den CORPUS und VOCAB des Starters so wie sie sind: der Check liest sie aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.