Conteúdo do curso Lição 143 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

Vetores Bag-of-Words

Antes de um modelo poder comparar dois trechos de texto, o texto tem que se tornar números. A forma mais antiga e simples é o bag of words: escolha uma lista fixa de palavras (o vocabulary), depois descreva qualquer documento por quantas vezes cada palavra do vocabulário aparece nele. A ordem das palavras é descartada, por isso a palavra "bag". É rudimentar, mas é a base sobre a qual TF-IDF, BM25 e até dense embeddings são construídos.

Diga que o vocabulário é ["the", "cat", "sat", "dog", "ran"]. O documento "the cat sat" se torna o vetor de contagem [1, 1, 1, 0, 0]: um the, um cat, um sat, zero dog, zero ran. O documento "the dog ran the dog" se torna [2, 0, 0, 2, 1].

Duas regras que importam em produção:

  • O comprimento do vetor é sempre o tamanho do vocabulário, não importa o tamanho do documento. Esse formato fixo é o que permite empilhar documentos em uma matriz e fazer álgebra linear.
  • Palavras que não estão no vocabulário (out of vocabulary, ou OOV) são simplesmente ignoradas. Um sistema real limita o vocabulário, então palavras não vistas desaparecem.

No código real você usaria scikit-learn, que faz exatamente isso e te entrega uma sparse matrix:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

Para entender o que essa ferramenta faz por baixo dos panos, você vai construir o contador você mesmo.

Build vectorize(doc, vocab): coloque o documento em minúsculas, divida por espaços em branco e retorne uma list de contagens, uma por palavra do vocabulário, em ordem alfabética do vocabulário. Ignore qualquer token que não esteja no vocabulário. Um documento vazio retorna todos os zeros.

Sua vez

Escreva vectorize(doc, vocab) que transforma uma string de documento em uma lista de contagem de bag-of-words sobre um vocabulário fixo. Coloque em minúsculas e divida o documento por espaços em branco, conte quantas vezes cada palavra vocab aparece e retorne as contagens como uma lista em ordem vocab. Tokens fora do vocabulário são ignorados; um documento vazio retorna todos os zeros. O comprimento da lista retornada é sempre igual a len(vocab).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.