Indexe la base de connaissances
Bienvenue dans le projet phare de ton portfolio : un copilote de support client. En quatre leçons, tu vas construire et évaluer de bout en bout un assistant de support augmenté par la recherche (RAG) -- exactement le système derrière le widget de chat qui répond à « comment je réinitialise mon mot de passe ? » à partir des articles d'aide d'une entreprise au lieu de deviner. Quand tu auras fini, la ligne de CV s'écrira toute seule : j'ai construit et évalué un pipeline RAG et un banc d'évaluation.
Un système RAG a une règle d'or : le modèle ne répond qu'à partir des documents que tu as vraiment récupérés. Donc, avant même qu'un modèle de langage n'entre en jeu, il te faut une recherche rapide et précise. C'est l'objet de cette leçon. Un recruteur qui lit ton code ici vérifie une seule chose : sais-tu transformer un tas de texte en quelque chose qu'on peut bien interroger ? TF-IDF est une méthode lexicale : elle repère les mots qu'une requête partage avec un article, pondérés selon ce que chaque mot révèle. Elle ne sait pas que « remboursement » et « récupérer son argent » veulent dire la même chose ; c'est ce qu'apportent les embeddings (les prochaines leçons). La recherche lexicale reste la référence rapide et bon marché que tout système de recherche devrait battre.
Tu vas construire un petit moteur de recherche TF-IDF. L'idée en une phrase : représenter chaque article comme un vecteur de poids de mots, où un mot compte davantage s'il est fréquent dans cet article (fréquence du terme) mais rare dans l'ensemble des articles (fréquence inverse de document). Compare une requête à chaque article avec la similarité cosinus et renvoie les plus proches.
Trois gestes suffisent :
- Découper en tokens -- mettre en minuscules, séparer en mots, et retirer les petits mots vides comme « the » et « is » qui correspondent à tout et ne veulent rien dire.
re.findall(r"[a-z0-9]+", text.lower())puis filtre l'ensemble des mots vides. - Pondérer -- pour chaque article, fréquence du terme fois IDF, puis normaliser le vecteur à une longueur de 1 pour que les articles longs et courts se comparent équitablement.
- Noter -- similarité cosinus entre le vecteur de la requête et celui de chaque article. Avec des vecteurs unitaires, c'est juste le produit scalaire. Classe par ordre décroissant.
Construis deux fonctions sur la liste d'articles :
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) renvoie la structure dont tu as besoin (un dict suffit). retrieve renvoie une liste d'indices entiers dans docs, la meilleure correspondance d'abord, au plus k. Tu peux utiliser du Python simple et math, ou numpy, ou le TfidfVectorizer de scikit-learn -- quoi que tu choisisses, le contrat est le même. Garde DOCS défini au niveau du module pour que le correcteur puisse reconstruire ton index. Appuie sur Run pour voir quelques questions de support trouver le bon article.
Construis un moteur de recherche TF-IDF sur la base de connaissances de support de 8 articles. Garde DOCS au niveau du module. Écris build_index(docs) (découpage en tokens avec retrait des mots vides, pondération des termes par tf*idf, normalisation en vecteurs unitaires) et retrieve(query, index, k) qui renvoie les indices des k documents les plus proches par similarité cosinus, le meilleur d'abord, au plus k. Python simple, numpy ou scikit-learn, tout fonctionne.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.