La similarité cosinus en numpy
Maintenant que les documents sont des vecteurs, comment mesurer si deux d'entre eux « se ressemblent » ? Le premier réflexe est la distance euclidienne (en ligne droite), mais pour du texte c'est un piège. Un long document répète des mots, donc son vecteur de comptes est simplement plus grand, et la distance euclidienne le pénalise pour sa longueur même quand le sujet est identique. Ce qui compte vraiment, c'est la direction : quels mots, dans quelle proportion. C'est ce que mesure la similarité cosinus.
La similarité cosinus est le cosinus de l'angle entre deux vecteurs :
cosine(a, b) = (a . b) / (|a| * |b|)où a . b est le produit scalaire et |a| la longueur (la norme L2) de a. La valeur tombe dans un intervalle bien net :
- 1.0 -> même direction (un document et une copie de lui-même agrandie).
- 0.0 -> orthogonaux, aucune direction commune (aucun mot en commun).
- Valeurs intermédiaires -> recouvrement partiel.
Comme il divise par les longueurs, le cosinus traite [1, 1] et [10, 10] comme identiques. C'est exactement cette indépendance vis-à-vis de la longueur qui fait que tous les systèmes d'embeddings et de RAG classent par cosinus, pas par distance euclidienne.
En numpy, tout tient en trois appels :
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Un cas limite te mordra en production : le vecteur nul (un document sans aucun mot du vocabulaire) a une longueur de 0, et diviser par 0 donne NaN, qui empoisonne ensuite tous les tris en aval. Une similarité robuste renvoie 0.0 quand l'un des vecteurs est entièrement nul.
Construis cosine(a, b) qui renvoie la similarité cosinus sous forme de float, et renvoie 0.0 (jamais NaN) quand l'une des entrées est le vecteur nul. Les entrées peuvent être des listes Python ou des tableaux numpy.
Écris cosine(a, b) qui renvoie la similarité cosinus de deux vecteurs : le produit scalaire divisé par le produit de leurs normes L2. Accepte des listes Python ou des tableaux numpy et renvoie un float. Des vecteurs parallèles renvoient 1.0, des vecteurs orthogonaux renvoient 0.0, et la fonction est symétrique. Si l'un des vecteurs est entièrement nul, renvoie 0.0 au lieu de diviser par zéro et de produire NaN.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.