Programma Lezione 155 di 250 · Costruisci una pipeline RAG
Costruisci una pipeline RAG

Fare l'embedding dei pezzi

Hai i pezzi di testo. Il recuperatore però confronta vettori, non parole, quindi il passo mancante è l'embedding: trasformare ogni pezzo in una lista di numeri di lunghezza fissa in modo che un testo con contenuto simile finisca in coordinate simili. È l'"embed" promesso nella pipeline (chunk -> embed -> store -> retrieve -> prompt), ed è ciò che alimenta VectorStore.add(id, text, vector) nella prossima lezione.

I sistemi di produzione chiamano in rete un modello neurale di embedding (OpenAI, Cohere, un sentence-transformer), ma il contratto è identico e puoi costruire offline un vero embedder deterministico per impararlo: un vettore bag-of-words. Fissa un vocab (le parole che ti interessano), poi rappresenta un testo con quante volte vi compare ogni parola del vocabolario.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Un altro passo li rende utilizzabili per la ricerca per coseno: normalizza in L2 il vettore (dividilo per la sua lunghezza, np.linalg.norm). Dopo, ogni vettore ha lunghezza 1, quindi la similarità del coseno diventa un semplice prodotto scalare e i pezzi lunghi smettono di dominare quelli corti solo perché hanno più parole. Un pezzo che non contiene nessuna parola del vocabolario non ha niente da normalizzare, quindi lascia quel vettore tutto zero così com'è (non dividere mai per zero).

Costruisci due funzioni.

  • build_vocab(chunks) -> la lista ordinata delle parole uniche di tutti i pezzi. Dividi ogni pezzo in token con text.lower().split() (minuscolo, divisione sugli spazi).
  • embed(text, vocab) -> un array numpy di float di lunghezza len(vocab): il conteggio di ogni parola del vocabolario in text (stesso tokenizer), poi normalizzato in L2. Se i conteggi sono tutti zero, restituisci il vettore zero invariato.

Premi Run per fare l'embedding di qualche pezzo e confermare che i testi collegati puntano nella stessa direzione.

Tocca a te

Scrivi build_vocab(chunks) che restituisce le parole uniche ordinate di tutti i pezzi (dividi in token con text.lower().split()), ed embed(text, vocab) che restituisce un array numpy di float di lunghezza len(vocab) con il conteggio di ogni parola del vocabolario in text (stesso tokenizer), normalizzato in L2 con np.linalg.norm. Se ogni conteggio è zero, restituisci il vettore tutto zero invariato (non dividere per zero).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.