Programme Leçon 147 sur 250 · Embeddings et recherche sémantique depuis zéro
Embeddings et recherche sémantique depuis zéro

Un moteur de recherche TF-IDF sur un ensemble de documents

Les comptes bruts donnent trop de poids aux mots courants : the apparaît partout et ne te dit rien sur un document. TF-IDF corrige ça. Il multiplie la fréquence d'un terme dans un document (fréquence du terme) par la rareté de ce terme dans toute la collection (fréquence inverse de document). Les mots fréquents dans un document mais rares en général, ceux qui le distinguent vraiment, reçoivent le poids le plus élevé.

Empile les vecteurs TF-IDF de tes documents dans une matrice, transforme la requête en vecteur TF-IDF de la même façon, et classe les documents par similarité cosinus avec la requête. C'est un moteur de recherche complet : la moitié lexicale de presque tous les systèmes RAG. scikit-learn te donne les deux morceaux :

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Deux détails séparent un moteur de recherche qui marche d'un moteur cassé :

  • Appelle fit_transform sur les documents mais seulement transform sur la requête, pour que la requête soit projetée dans le même vocabulaire et avec les mêmes poids idf. Ajuster la requête séparément la placerait dans un autre espace, et les scores ne voudraient plus rien dire.
  • Renvoie les indices des k meilleurs documents, triés par similarité décroissante. np.argsort trie dans l'ordre croissant, donc trie les scores changés de signe : np.argsort(-sims).

Construis retrieve(query, docs, k) qui ajuste un TfidfVectorizer sur docs, note la query par rapport à chaque document avec la similarité cosinus, et renvoie les indices des k meilleurs documents sous forme de liste d'entiers, le plus similaire d'abord.

À ton tour

Écris retrieve(query, docs, k) qui renvoie les indices des k documents les plus similaires à la requête. Ajuste un TfidfVectorizer sur docs, fais transform de la requête avec le même vectoriseur, note chaque document avec cosine_similarity, et renvoie les indices des k meilleurs documents sous forme de liste d'entiers, par similarité décroissante. Une requête sur Python doit renvoyer en premier le document sur Python ; une requête sur les remboursements doit renvoyer en premier le document sur les remboursements.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.