Kurrikulum Leson 155 van 250 · Bou 'n RAG Pipeline
Bou 'n RAG Pipeline

Bedig die Chunks

Jy het tekstblokke. Die retriever vergelyk egter vectors, nie woorde nie, so die ontbrekende stap is embedding: verander elke blok in 'n lys van getalle met 'n vaste lengte sodat teks met soortgelyke inhoud by soortgelyke koördinate beland. Dit is die "embed" wat in die pipeline (chunk -> embed -> store -> retrieve -> prompt) beloof word, en dit is wat VectorStore.add(id, text, vector) in die volgende les voed.

Produksiesisteme roep 'n neurale inbeddingsmodel (OpenAI, Cohere, 'n sentence-transformer) oor die netwerk op, maar die kontrak is identies en jy kan 'n regte, deterministiese inbedder offline bou om dit te leer: 'n bag-of-words vektor. Kies 'n vocab (die woorde waarom jy gee), dan verteenwoordig jy 'n stuk teks deur hoeveel keer elke vocab woord daarin verskyn.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Nog een stap maak dit bruikbaar vir cosinussoek: L2-normalize die vektor (deel dit deur sy eie lengte, np.linalg.norm). Daarna het elke vektor lengte 1, so word cosinussimiliariteit 'n eenvoudige puntproduk en stop lang stukke om kort stukke te oorheers net omdat hulle meer woorde het. 'n Stuk wat geen van die vocab woorde bevat nie, het niks om te normaliseer nie, so laat daardie nul-vektor presies soos dit is (deel nooit deur nul nie).

Boue twee funksies.

  • build_vocab(chunks) -> die gesorteerde lys van unieke woorde oor alle blokke. Tokeniseer elke blok met text.lower().split() (kleinletters, skei op spasies).
  • embed(text, vocab) -> 'n numpy float array van lengte len(vocab): die telling van elke vocab woord in text (deur dieselfde tokenizer), dan L2-genormaliseer. As die tellings almal nul is, gee die nulvektor onveranderd terug.

Druk Run om 'n paar stukke in te bedat en bevestig gerelateerde tekspunte op dieselfde manier.

Jou beurt

Skryf build_vocab(chunks) wat die gesorteerde unieke woorde oor alle blokke teruggee (tokeniseer met text.lower().split()), en embed(text, vocab) wat 'n numpy float array van lengte len(vocab) teruggee wat die telling van elke vocab woord in text hou (dieselfde tokenizer), L2-genormaliseer met np.linalg.norm. As elke telling nul is, gee die alle-nul vektor onveranderd terug (moenie deur nul deel nie).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.