Lehrplan Lektion 143 von 250 · Embeddings & Semantische Suche von Grund auf
Embeddings & Semantische Suche von Grund auf

Bag-of-Words Vektoren

Bevor ein Modell zwei Textstücke vergleichen kann, muss der Text zu Zahlen werden. Der älteste, einfachste Weg ist der bag of words: Wähle eine feste Liste von Wörtern (das vocabulary), dann beschreibe jedes Dokument danach, wie oft jedes Vokabularwort darin vorkommt. Die Wortreihenfolge wird weggeworfen, daher das Wort "bag". Es ist grob, aber es ist die Grundlage, auf der TF-IDF, BM25 und sogar dense embeddings aufgebaut sind.

Nenne das Vokabular ["the", "cat", "sat", "dog", "ran"]. Das Dokument "the cat sat" wird zum Zählvektor [1, 1, 1, 0, 0]: ein the, ein cat, ein sat, null dog, null ran. Das Dokument "the dog ran the dog" wird zu [2, 0, 0, 2, 1].

Zwei Regeln, die in der Produktion wichtig sind:

  • Die Vektorlänge ist immer die Vocabulary-Größe, egal wie lang das Dokument ist. Diese feste Form ermöglicht es dir, Dokumente in eine Matrix zu stapeln und lineare Algebra anzuwenden.
  • Wörter, die nicht im Vokabular sind (out of vocabulary, oder OOV), werden einfach ignoriert. Ein echtes System begrenzt das Vokabular, also verschwinden ungesehene Wörter.

In echtem Code würdest du scikit-learn verwenden, das genau das tut und dir eine sparse matrix liefert:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

Um zu verstehen, was dieses Tool im Hintergrund macht, wirst du den Zähler selbst bauen.

Build vectorize(doc, vocab): mache das Dokument klein, trenne es nach Leerzeichen und gib eine list von Zählen zurück, eines pro Vokabelwort, in Vokabelreihenfolge. Ignoriere jedes Token, das nicht im Vokabular ist. Ein leeres Dokument gibt alle Nullen zurück.

Du bist dran

Schreibe vectorize(doc, vocab), das einen Dokument-String in eine Bag-of-Words Zähl-Liste über ein festes Vokabular umwandelt. Setze den Dokument-String in Kleinbuchstaben und trenne ihn bei Leerzeichen. Zähle, wie oft jedes vocab Wort erscheint, und gib die Zählungen als Liste in vocab Reihenfolge zurück. Token außerhalb des Vokabulars werden ignoriert; ein leeres Dokument gibt alle Nullen zurück. Die Länge der zurückgegebenen Liste entspricht immer len(vocab).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.