Conteúdo do curso Lição 147 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

Retriever TF-IDF sobre um Conjunto de Documentos

Contagens brutas sobrevalorizam palavras comuns: the aparece em todo lugar e não diz nada sobre um documento. TF-IDF corrige isso. Ele multiplica a frequência com que um termo aparece em um documento (term frequency) pela raridade desse termo em toda a coleção (inverse document frequency). Palavras que são frequentes em um documento mas raras no geral, as palavras que realmente o distinguem, recebem o maior peso.

Empilhe os vetores TF-IDF dos seus documentos em uma matriz, transforme a consulta em um vetor TF-IDF da mesma forma e classifique os documentos por similaridade de cosseno com a consulta. Isso é um retriever completo: a metade lexical de quase todo sistema RAG. scikit-learn te dá as duas partes:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Dois detalhes que separam um retriever funcional de um quebrado:

  • Chame fit_transform nos documentos mas apenas transform na consulta, então a consulta é projetada no mesmo vocabulário e pesos idf. Ajustar a consulta separadamente a colocaria em um espaço diferente e as pontuações não teriam sentido.
  • Retorne os índices dos documentos top-k ordenados por similaridade descending. np.argsort ordena de forma crescente, então ordene os scores negados: np.argsort(-sims).

Build retrieve(query, docs, k) que se ajusta a um TfidfVectorizer em docs, pontua o query contra cada documento com cosine similarity, e retorna os índices dos top k documentos como uma list de ints, o mais similar primeiro.

Sua vez

Escreva retrieve(query, docs, k) que retorna os índices dos k documentos mais similares à consulta. Ajuste um TfidfVectorizer em docs, transform a consulta com o mesmo vectorizer, pontue cada documento com cosine_similarity, e retorne os índices dos k documentos principais como uma lista de ints em ordem decrescente de similaridade. Uma consulta sobre Python deve retornar o documento Python primeiro; uma consulta sobre reembolsos deve retornar o documento de reembolso primeiro.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.