Recuperador TF-IDF sobre un conjunto de documentos
Los recuentos brutos dan demasiado peso a las palabras comunes: the aparece en todas partes y no te dice nada sobre un documento. TF-IDF lo arregla. Multiplica la frecuencia con la que un término aparece en un documento (frecuencia del término) por lo raro que es ese término en toda la colección (frecuencia inversa de documento). Las palabras frecuentes en un documento pero raras en general, las que de verdad lo distinguen, reciben el mayor peso.
Apila los vectores TF-IDF de tus documentos en una matriz, convierte la consulta en un vector TF-IDF del mismo modo y ordena los documentos por similitud coseno con la consulta. Eso es un recuperador completo: la mitad léxica de casi todos los sistemas RAG. scikit-learn te da las dos piezas:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docDos detalles separan un recuperador que funciona de uno roto:
- Llama a
fit_transformsobre los documentos pero solo atransformsobre la consulta, para que la consulta se proyecte en el mismo vocabulario y con los mismos pesos idf. Ajustar la consulta por separado la colocaría en otro espacio y las puntuaciones no tendrían sentido. - Devuelve los índices de los k mejores documentos ordenados por similitud descendente.
np.argsortordena de forma ascendente, así que ordena las puntuaciones negadas:np.argsort(-sims).
Construye retrieve(query, docs, k), que ajuste un TfidfVectorizer sobre docs, puntúe la query contra cada documento con similitud coseno y devuelva los índices de los k mejores documentos como lista de ints, el más parecido primero.
Escribe retrieve(query, docs, k), que devuelva los índices de los k documentos más parecidos a la consulta. Ajusta un TfidfVectorizer sobre docs, aplica transform a la consulta con el mismo vectorizador, puntúa cada documento con cosine_similarity y devuelve los índices de los k mejores documentos como lista de ints en orden de similitud descendente. Una consulta sobre Python debe devolver primero el documento de Python; una consulta sobre reembolsos debe devolver primero el documento de reembolsos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.