Vetores Bag-of-Words
Antes de um modelo poder comparar dois trechos de texto, o texto tem que se tornar números. A forma mais antiga e simples é o bag of words: escolha uma lista fixa de palavras (o vocabulary), depois descreva qualquer documento por quantas vezes cada palavra do vocabulário aparece nele. A ordem das palavras é descartada, por isso a palavra "bag". É rudimentar, mas é a base sobre a qual TF-IDF, BM25 e até dense embeddings são construídos.
Diga que o vocabulário é ["the", "cat", "sat", "dog", "ran"]. O documento "the cat sat" se torna o vetor de contagem [1, 1, 1, 0, 0]: um the, um cat, um sat, zero dog, zero ran. O documento "the dog ran the dog" se torna [2, 0, 0, 2, 1].
Duas regras que importam em produção:
- O comprimento do vetor é sempre o tamanho do vocabulário, não importa o tamanho do documento. Esse formato fixo é o que permite empilhar documentos em uma matriz e fazer álgebra linear.
- Palavras que não estão no vocabulário (out of vocabulary, ou OOV) são simplesmente ignoradas. Um sistema real limita o vocabulário, então palavras não vistas desaparecem.
No código real você usaria scikit-learn, que faz exatamente isso e te entrega uma sparse matrix:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsPara entender o que essa ferramenta faz por baixo dos panos, você vai construir o contador você mesmo.
Build vectorize(doc, vocab): coloque o documento em minúsculas, divida por espaços em branco e retorne uma list de contagens, uma por palavra do vocabulário, em ordem alfabética do vocabulário. Ignore qualquer token que não esteja no vocabulário. Um documento vazio retorna todos os zeros.
Escreva vectorize(doc, vocab) que transforma uma string de documento em uma lista de contagem de bag-of-words sobre um vocabulário fixo. Coloque em minúsculas e divida o documento por espaços em branco, conte quantas vezes cada palavra vocab aparece e retorne as contagens como uma lista em ordem vocab. Tokens fora do vocabulário são ignorados; um documento vazio retorna todos os zeros. O comprimento da lista retornada é sempre igual a len(vocab).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.