Programma Lezione 143 di 250 · Embedding e ricerca semantica da zero
Embedding e ricerca semantica da zero

Vettori bag-of-words

Prima che un modello possa confrontare due testi, il testo deve diventare numeri. Il modo più vecchio e semplice è il bag of words (sacco di parole): scegli una lista fissa di parole (il vocabolario), poi descrivi qualsiasi documento con quante volte vi compare ogni parola del vocabolario. L'ordine delle parole viene buttato via, da qui la parola "sacco". È grezzo, ma è la base su cui costruiscono TF-IDF, BM25 e perfino gli embedding densi.

Diciamo che il vocabolario è ["the", "cat", "sat", "dog", "ran"]. Il documento "the cat sat" diventa il vettore di conteggi [1, 1, 1, 0, 0]: un the, un cat, un sat, zero dog, zero ran. Il documento "the dog ran the dog" diventa [2, 0, 0, 2, 1].

Due regole che contano in produzione:

  • La lunghezza del vettore è sempre la dimensione del vocabolario, per quanto lungo sia il documento. Quella forma fissa è ciò che ti permette di impilare i documenti in una matrice e fare algebra lineare.
  • Le parole che non sono nel vocabolario (fuori vocabolario, o OOV) vengono semplicemente ignorate. Un sistema reale limita il vocabolario, quindi le parole mai viste spariscono.

Nel codice vero useresti scikit-learn, che fa esattamente questo e ti dà una matrice sparsa:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

Per capire che cosa fa quello strumento sotto il cofano, costruirai tu stesso il contatore.

Costruisci vectorize(doc, vocab): metti il documento in minuscolo, dividilo sugli spazi, e restituisci una lista di conteggi, uno per parola del vocabolario, nell'ordine del vocabolario. Ignora qualsiasi token che non è nel vocabolario. Un documento vuoto restituisce tutti zeri.

Tocca a te

Scrivi vectorize(doc, vocab) che trasforma una stringa documento in una lista di conteggi bag-of-words su un vocabolario fisso. Metti il documento in minuscolo e dividilo sugli spazi, conta quante volte compare ogni parola di vocab, e restituisci i conteggi come lista nell'ordine di vocab. I token fuori dal vocabolario vengono ignorati; un documento vuoto restituisce tutti zeri. La lunghezza della lista restituita è sempre uguale a len(vocab).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.