Programma Les 155 van 250 · Bouw een RAG Pipeline
Bouw een RAG Pipeline

Embed de Chunks

Je hebt stukken tekst. De retriever vergelijkt echter vectors, geen woorden, dus de ontbrekende stap is embedding: zet elk stuk om in een lijst van getallen met een vaste lengte zodat tekst met vergelijkbare inhoud op vergelijkbare coördinaten terechtkomt. Dit is de "embed" die beloofd wordt in de pipeline (chunk -> embed -> store -> retrieve -> prompt), en dit is wat VectorStore.add(id, text, vector) voedt in de volgende les.

Productiesystemen roepen een neuraal embedding model (OpenAI, Cohere, een sentence-transformer) over het netwerk aan, maar de contract is identiek en je kunt een echte, deterministische embedder offline bouwen om het te leren: een bag-of-words vector. Fix een vocab (de woorden waar je om geeft), en representeer dan een stuk tekst door hoe vaak elk vocab woord erin voorkomt.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Nog een stap maakt deze bruikbaar voor cosine search: L2-normalize de vector (deel deze door zijn eigen lengte, np.linalg.norm). Daarna heeft elke vector lengte 1, dus cosine similarity wordt een gewoon dot product en lange chunks domineren geen korte chunks meer alleen omdat ze meer woorden hebben. Een chunk die geen van de vocab woorden bevat heeft niets om te normaliseren, dus laat die vector met alle nullen zoals hij is (deel nooit door nul).

Bouw twee functies.

  • build_vocab(chunks) -> de gesorteerde lijst van unieke woorden over alle chunks. Tokenize elke chunk met text.lower().split() (lowercase, split op whitespace).
  • embed(text, vocab) -> een numpy float array van lengte len(vocab): de telling van elk vocab woord in text (dezelfde tokenizer), daarna L2-genormaliseerd. Als de tellingen allemaal nul zijn, retourneer de nulvector onveranderd.

Druk Run om een paar stukken in te bedden en bevestig gerelateerde tekstpunten op dezelfde manier.

Jij bent aan de beurt

Schrijf build_vocab(chunks) die de gesorteerde unieke woorden over alle chunks teruggeeft (tokenize met text.lower().split()), en embed(text, vocab) die een numpy float array van lengte len(vocab) teruggeeft met de telling van elk vocab woord in text (dezelfde tokenizer), L2-genormaliseerd met np.linalg.norm. Als elke telling nul is, geef dan de vector met alleen nullen onveranderd terug (deel niet door nul).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.