Retriever TF-IDF sobre um Conjunto de Documentos
Contagens brutas sobrevalorizam palavras comuns: the aparece em todo lugar e não diz nada sobre um documento. TF-IDF corrige isso. Ele multiplica a frequência com que um termo aparece em um documento (term frequency) pela raridade desse termo em toda a coleção (inverse document frequency). Palavras que são frequentes em um documento mas raras no geral, as palavras que realmente o distinguem, recebem o maior peso.
Empilhe os vetores TF-IDF dos seus documentos em uma matriz, transforme a consulta em um vetor TF-IDF da mesma forma e classifique os documentos por similaridade de cosseno com a consulta. Isso é um retriever completo: a metade lexical de quase todo sistema RAG. scikit-learn te dá as duas partes:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docDois detalhes que separam um retriever funcional de um quebrado:
- Chame
fit_transformnos documentos mas apenastransformna consulta, então a consulta é projetada no mesmo vocabulário e pesos idf. Ajustar a consulta separadamente a colocaria em um espaço diferente e as pontuações não teriam sentido. - Retorne os índices dos documentos top-k ordenados por similaridade descending.
np.argsortordena de forma crescente, então ordene os scores negados:np.argsort(-sims).
Build retrieve(query, docs, k) que se ajusta a um TfidfVectorizer em docs, pontua o query contra cada documento com cosine similarity, e retorna os índices dos top k documentos como uma list de ints, o mais similar primeiro.
Escreva retrieve(query, docs, k) que retorna os índices dos k documentos mais similares à consulta. Ajuste um TfidfVectorizer em docs, transform a consulta com o mesmo vectorizer, pontue cada documento com cosine_similarity, e retorne os índices dos k documentos principais como uma lista de ints em ordem decrescente de similaridade. Uma consulta sobre Python deve retornar o documento Python primeiro; uma consulta sobre reembolsos deve retornar o documento de reembolso primeiro.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.