Programma Lezione 145 di 250 · Embedding e ricerca semantica da zero
Embedding e ricerca semantica da zero

Intuizione sugli embedding (embedder simulato deterministico)

Il bag-of-words ha un punto cieco fatale: "dog" e "puppy" sono parole diverse, quindi i loro vettori di conteggi non hanno niente in comune e il loro coseno è 0, anche se significano quasi la stessa cosa. I veri embedding risolvono il problema mettendo le parole (o intere frasi) in uno spazio vettoriale dove le cose usate in modo simile finiscono vicine. L'idea guida è l'ipotesi distribuzionale: una parola si conosce dalla compagnia che frequenta. Le parole che compaiono negli stessi contesti ricevono vettori simili.

Gli embedding di produzione vengono da una rete neurale addestrata (sentence-transformers) o da un'API ospitata. Qui non possiamo farli girare: in questa sandbox non c'è né GPU né rete. Quindi costruirai un embedder simulato deterministico che cattura la geometria della cosa vera senza i pesi addestrati. È onesto sui suoi limiti e perfetto per imparare il meccanismo.

Il trucco è un vettore di co-occorrenza. Dato un piccolo corpus curato, l'embedding di una parola è un conteggio di quali altre parole compaiono negli stessi documenti. Se dog e puppy frequentano entrambe park, runs e nap, i loro vettori di contesto si allineano e il coseno è alto. invoice frequenta invece pay e due, quindi punta altrove.

Sul corpus fornito con questa lezione, il guadagno è concreto:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Quella disuguaglianza, cosine(dog, puppy) > cosine(dog, invoice), è tutto il senso degli embedding espresso in una riga.

Per contrasto, ecco come appare una vera chiamata (qui NON girerà, è mostrata solo come contesto):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Costruisci embed(word, corpus, vocab) che restituisce il vettore di co-occorrenza di una parola: una lista di lunghezza fissa (un posto per parola del vocabolario) dove il posto j conta quante volte la parola j del vocabolario compare insieme alla parola cercata in tutti i documenti del corpus che contengono la parola cercata. Non contare la parola cercata contro se stessa. La stessa parola restituisce sempre lo stesso vettore.

Tocca a te

Scrivi embed(word, corpus, vocab), un embedder simulato deterministico. Per la parola data, esamina ogni documento di corpus (ognuno una stringa in minuscolo). Nei documenti che contengono la parola, conta le altre parole (salta la parola cercata) in un vettore lungo quanto il vocabolario, restituito come lista nell'ordine di vocab. Il risultato è un vettore di contesto di co-occorrenza: le parole usate in contesti simili ricevono vettori simili, quindi sul corpus della lezione cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). La stessa parola dà sempre lo stesso vettore, e la lunghezza è sempre uguale a len(vocab). Lascia CORPUS e VOCAB del codice di partenza così come sono: la verifica li legge.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.