Die Chunks einbetten
Du hast Textabschnitte. Der Retriever vergleicht jedoch vectors, keine Wörter, also ist der fehlende Schritt embedding: wandle jeden Abschnitt in eine Liste von Zahlen mit fester Länge um, damit Text mit ähnlichem Inhalt bei ähnlichen Koordinaten landet. Dies ist das "embed", das in der Pipeline (chunk -> embed -> store -> retrieve -> prompt) versprochen wurde, und es ist das, was VectorStore.add(id, text, vector) in der nächsten Lektion speist.
Produktionssysteme rufen ein neuronales Embedding-Modell (OpenAI, Cohere, ein sentence-transformer) über das Netzwerk auf, aber der Vertrag ist identisch und du kannst einen echten, deterministischen Embedder offline bauen, um ihn zu lernen: einen bag-of-words Vektor. Fixiere ein vocab (die Wörter, die dir wichtig sind), dann repräsentiere ein Stück Text dadurch, wie oft jedes Vocab-Wort darin vorkommt.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Ein weiterer Schritt macht diese für die Cosinus-Suche nutzbar: L2-normalize den Vektor (teile ihn durch seine eigene Länge, np.linalg.norm). Danach hat jeder Vektor die Länge 1, also wird die Cosinus-Ähnlichkeit zu einem einfachen Skalarprodukt und lange Chunks dominieren nicht mehr kurze Chunks nur weil sie mehr Wörter haben. Ein Chunk, der keines der Vokabular-Wörter enthält, hat nichts zu normalisieren, also lass diesen Nullvektor so wie er ist (teile niemals durch Null).
Erstelle zwei Funktionen.
build_vocab(chunks)-> die sortierte Liste der eindeutigen Wörter über alle Chunks hinweg. Tokenisiere jeden Chunk mittext.lower().split()(Kleinschreibung, Trennung bei Leerzeichen).embed(text, vocab)-> ein numpy float array der Längelen(vocab): die Anzahl jedes Vocab-Wortes intext(gleicher Tokenizer), dann L2-normiert. Wenn alle Zählungen Null sind, gib den Nullvektor unverändert zurück.
Drücke Run, um einige Abschnitte einzubetten und verwandte Textpunkte auf die gleiche Weise zu bestätigen.
Schreibe build_vocab(chunks), das die sortierten eindeutigen Wörter über alle Chunks zurückgibt (tokenize mit text.lower().split()), und embed(text, vocab), das ein numpy float array der Länge len(vocab) zurückgibt, das die Anzahl jedes Vocab-Wortes in text hält (gleicher Tokenizer), L2-normiert mit np.linalg.norm. Wenn jede Anzahl Null ist, gib den Nullvektor unverändert zurück (teile nicht durch Null).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.