Programme Leçon 151 sur 250 · Embeddings et recherche sémantique depuis zéro
Embeddings et recherche sémantique depuis zéro

Le partitionnement pour router et dédoublonner (KMeans)

Une fois le texte transformé en vecteurs, le partitionnement débloque deux tâches que tu rencontres sans arrêt dans les systèmes à base de LLM. Le routage sémantique : regroupe des exemples de messages en groupes (facturation, support technique, ventes), puis envoie un nouveau message au service dont le centroïde est le plus proche. La recherche de doublons potentiels : des documents presque identiques tombent dans le même groupe, ce qui réduit l'endroit où chercher. Être dans le même groupe ne fait pas de deux documents des doublons (un groupe peut contenir des centaines de documents simplement apparentés), donc la vraie vérification est un seuil de similarité sur chaque paire à l'intérieur du groupe, ou une technique comme MinHash pour les grandes collections.

KMeans est l'outil de base. Tu lui dis combien de groupes k tu veux ; il trouve k centroïdes et affecte chaque vecteur au plus proche. scikit-learn fait le gros du travail :

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

Deux choses font la réussite ou l'échec en pratique :

  • Le déterminisme. KMeans part de centroïdes aléatoires, donc tu dois passer random_state=0. Sans ça, les mêmes données peuvent produire des étiquettes différentes d'une exécution à l'autre, et ton routage devient impossible à reproduire. (Les valeurs entières des étiquettes ne sont que des noms arbitraires ; ce qui compte, c'est quels points partagent une étiquette.)
  • Router un nouveau point utilise predict sur le modèle déjà ajusté, qui l'affecte au centroïde le plus proche. Tu ne réajustes pas.

Deux groupes de points bien séparés doivent tomber dans deux groupes nets, et un nouveau point situé dans l'un des groupes doit être routé vers ce groupe.

Construis deux fonctions. cluster_route(vectors, k) ajuste KMeans(n_clusters=k, random_state=0, n_init=10) sur vectors et renvoie un tuple (labels, model), où labels est une liste d'indices de groupes (un par vecteur d'entrée). route_new(model, vector) renvoie l'indice du groupe (un int) vers lequel le modèle ajusté route un nouveau vecteur.

À ton tour

Écris deux fonctions. cluster_route(vectors, k) ajuste KMeans(n_clusters=k, random_state=0, n_init=10) sur les vecteurs et renvoie un tuple (labels, model) : labels est une liste avec un indice de groupe par vecteur, et model l'estimateur ajusté. route_new(model, vector) renvoie l'indice du groupe (int) vers lequel le modèle ajusté route un nouveau vecteur. Deux groupes clairement séparés doivent tomber dans deux groupes distincts, un nouveau vecteur doit être routé vers le centroïde le plus proche, le nombre de groupes distincts doit valoir k, et les résultats doivent être identiques d'une exécution à l'autre grâce à random_state=0.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.