Fare l'embedding dei pezzi
Hai i pezzi di testo. Il recuperatore però confronta vettori, non parole, quindi il passo mancante è l'embedding: trasformare ogni pezzo in una lista di numeri di lunghezza fissa in modo che un testo con contenuto simile finisca in coordinate simili. È l'"embed" promesso nella pipeline (chunk -> embed -> store -> retrieve -> prompt), ed è ciò che alimenta VectorStore.add(id, text, vector) nella prossima lezione.
I sistemi di produzione chiamano in rete un modello neurale di embedding (OpenAI, Cohere, un sentence-transformer), ma il contratto è identico e puoi costruire offline un vero embedder deterministico per impararlo: un vettore bag-of-words. Fissa un vocab (le parole che ti interessano), poi rappresenta un testo con quante volte vi compare ogni parola del vocabolario.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Un altro passo li rende utilizzabili per la ricerca per coseno: normalizza in L2 il vettore (dividilo per la sua lunghezza, np.linalg.norm). Dopo, ogni vettore ha lunghezza 1, quindi la similarità del coseno diventa un semplice prodotto scalare e i pezzi lunghi smettono di dominare quelli corti solo perché hanno più parole. Un pezzo che non contiene nessuna parola del vocabolario non ha niente da normalizzare, quindi lascia quel vettore tutto zero così com'è (non dividere mai per zero).
Costruisci due funzioni.
build_vocab(chunks)-> la lista ordinata delle parole uniche di tutti i pezzi. Dividi ogni pezzo in token context.lower().split()(minuscolo, divisione sugli spazi).embed(text, vocab)-> un array numpy di float di lunghezzalen(vocab): il conteggio di ogni parola del vocabolario intext(stesso tokenizer), poi normalizzato in L2. Se i conteggi sono tutti zero, restituisci il vettore zero invariato.
Premi Run per fare l'embedding di qualche pezzo e confermare che i testi collegati puntano nella stessa direzione.
Scrivi build_vocab(chunks) che restituisce le parole uniche ordinate di tutti i pezzi (dividi in token con text.lower().split()), ed embed(text, vocab) che restituisce un array numpy di float di lunghezza len(vocab) con il conteggio di ogni parola del vocabolario in text (stesso tokenizer), normalizzato in L2 con np.linalg.norm. Se ogni conteggio è zero, restituisci il vettore tutto zero invariato (non dividere per zero).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.