Temario Lección 147 de 250 · Embeddings y búsqueda semántica desde cero
Embeddings y búsqueda semántica desde cero

Recuperador TF-IDF sobre un conjunto de documentos

Los recuentos brutos dan demasiado peso a las palabras comunes: the aparece en todas partes y no te dice nada sobre un documento. TF-IDF lo arregla. Multiplica la frecuencia con la que un término aparece en un documento (frecuencia del término) por lo raro que es ese término en toda la colección (frecuencia inversa de documento). Las palabras frecuentes en un documento pero raras en general, las que de verdad lo distinguen, reciben el mayor peso.

Apila los vectores TF-IDF de tus documentos en una matriz, convierte la consulta en un vector TF-IDF del mismo modo y ordena los documentos por similitud coseno con la consulta. Eso es un recuperador completo: la mitad léxica de casi todos los sistemas RAG. scikit-learn te da las dos piezas:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Dos detalles separan un recuperador que funciona de uno roto:

  • Llama a fit_transform sobre los documentos pero solo a transform sobre la consulta, para que la consulta se proyecte en el mismo vocabulario y con los mismos pesos idf. Ajustar la consulta por separado la colocaría en otro espacio y las puntuaciones no tendrían sentido.
  • Devuelve los índices de los k mejores documentos ordenados por similitud descendente. np.argsort ordena de forma ascendente, así que ordena las puntuaciones negadas: np.argsort(-sims).

Construye retrieve(query, docs, k), que ajuste un TfidfVectorizer sobre docs, puntúe la query contra cada documento con similitud coseno y devuelva los índices de los k mejores documentos como lista de ints, el más parecido primero.

Tu turno

Escribe retrieve(query, docs, k), que devuelva los índices de los k documentos más parecidos a la consulta. Ajusta un TfidfVectorizer sobre docs, aplica transform a la consulta con el mismo vectorizador, puntúa cada documento con cosine_similarity y devuelve los índices de los k mejores documentos como lista de ints en orden de similitud descendente. Una consulta sobre Python debe devolver primero el documento de Python; una consulta sobre reembolsos debe devolver primero el documento de reembolsos.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.