Un moteur de recherche TF-IDF sur un ensemble de documents
Les comptes bruts donnent trop de poids aux mots courants : the apparaît partout et ne te dit rien sur un document. TF-IDF corrige ça. Il multiplie la fréquence d'un terme dans un document (fréquence du terme) par la rareté de ce terme dans toute la collection (fréquence inverse de document). Les mots fréquents dans un document mais rares en général, ceux qui le distinguent vraiment, reçoivent le poids le plus élevé.
Empile les vecteurs TF-IDF de tes documents dans une matrice, transforme la requête en vecteur TF-IDF de la même façon, et classe les documents par similarité cosinus avec la requête. C'est un moteur de recherche complet : la moitié lexicale de presque tous les systèmes RAG. scikit-learn te donne les deux morceaux :
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docDeux détails séparent un moteur de recherche qui marche d'un moteur cassé :
- Appelle
fit_transformsur les documents mais seulementtransformsur la requête, pour que la requête soit projetée dans le même vocabulaire et avec les mêmes poids idf. Ajuster la requête séparément la placerait dans un autre espace, et les scores ne voudraient plus rien dire. - Renvoie les indices des k meilleurs documents, triés par similarité décroissante.
np.argsorttrie dans l'ordre croissant, donc trie les scores changés de signe :np.argsort(-sims).
Construis retrieve(query, docs, k) qui ajuste un TfidfVectorizer sur docs, note la query par rapport à chaque document avec la similarité cosinus, et renvoie les indices des k meilleurs documents sous forme de liste d'entiers, le plus similaire d'abord.
Écris retrieve(query, docs, k) qui renvoie les indices des k documents les plus similaires à la requête. Ajuste un TfidfVectorizer sur docs, fais transform de la requête avec le même vectoriseur, note chaque document avec cosine_similarity, et renvoie les indices des k meilleurs documents sous forme de liste d'entiers, par similarité décroissante. Une requête sur Python doit renvoyer en premier le document sur Python ; une requête sur les remboursements doit renvoyer en premier le document sur les remboursements.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.