Le partitionnement pour router et dédoublonner (KMeans)
Une fois le texte transformé en vecteurs, le partitionnement débloque deux tâches que tu rencontres sans arrêt dans les systèmes à base de LLM. Le routage sémantique : regroupe des exemples de messages en groupes (facturation, support technique, ventes), puis envoie un nouveau message au service dont le centroïde est le plus proche. La recherche de doublons potentiels : des documents presque identiques tombent dans le même groupe, ce qui réduit l'endroit où chercher. Être dans le même groupe ne fait pas de deux documents des doublons (un groupe peut contenir des centaines de documents simplement apparentés), donc la vraie vérification est un seuil de similarité sur chaque paire à l'intérieur du groupe, ou une technique comme MinHash pour les grandes collections.
KMeans est l'outil de base. Tu lui dis combien de groupes k tu veux ; il trouve k centroïdes et affecte chaque vecteur au plus proche. scikit-learn fait le gros du travail :
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterDeux choses font la réussite ou l'échec en pratique :
- Le déterminisme. KMeans part de centroïdes aléatoires, donc tu dois passer
random_state=0. Sans ça, les mêmes données peuvent produire des étiquettes différentes d'une exécution à l'autre, et ton routage devient impossible à reproduire. (Les valeurs entières des étiquettes ne sont que des noms arbitraires ; ce qui compte, c'est quels points partagent une étiquette.) - Router un nouveau point utilise
predictsur le modèle déjà ajusté, qui l'affecte au centroïde le plus proche. Tu ne réajustes pas.
Deux groupes de points bien séparés doivent tomber dans deux groupes nets, et un nouveau point situé dans l'un des groupes doit être routé vers ce groupe.
Construis deux fonctions. cluster_route(vectors, k) ajuste KMeans(n_clusters=k, random_state=0, n_init=10) sur vectors et renvoie un tuple (labels, model), où labels est une liste d'indices de groupes (un par vecteur d'entrée). route_new(model, vector) renvoie l'indice du groupe (un int) vers lequel le modèle ajusté route un nouveau vecteur.
Écris deux fonctions. cluster_route(vectors, k) ajuste KMeans(n_clusters=k, random_state=0, n_init=10) sur les vecteurs et renvoie un tuple (labels, model) : labels est une liste avec un indice de groupe par vecteur, et model l'estimateur ajusté. route_new(model, vector) renvoie l'indice du groupe (int) vers lequel le modèle ajusté route un nouveau vecteur. Deux groupes clairement séparés doivent tomber dans deux groupes distincts, un nouveau vecteur doit être routé vers le centroïde le plus proche, le nombre de groupes distincts doit valoir k, et les résultats doivent être identiques d'une exécution à l'autre grâce à random_state=0.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.