Cosinusgelijkenis in numpy
Nu zijn documenten vectoren, hoe meet je dan of twee ervan "op elkaar lijken"? Het instinct is de Euclidische afstand (rechte lijn afstand), maar voor tekst is dat een valkuil. Een lang document herhaalt woorden, dus zijn count vector is simpelweg bigger, en de Euclidische afstand straft het voor de lengte zelfs als het onderwerp identiek is. Waar het je echt om gaat is direction: welke woorden, in welke verhouding. Dat is wat cosine similarity meet.
Cosine similarity is de cosinus van de hoek tussen twee vectoren:
cosine(a, b) = (a . b) / (|a| * |b|)waarbij a . b het dot product is en |a| de lengte (de L2 norm) van a. De waarde valt in een schoon bereik:
- 1.0 -> dezelfde richting (een document en een kopie van zichzelf die is vergroot).
- 0.0 -> orthogonaal, geen gedeelde richting (geen woorden gemeen).
- Waarden ertussen -> gedeeltelijke overlap.
Omdat het de lengtes wegdeelt, behandelt cosine [1, 1] en [10, 10] als identiek. Die lengte-invariantie is precies waarom elke embedding en RAG-systeem rangschikt op basis van cosine, niet op Euclidische afstand.
In numpy is het geheel drie aanroepen:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Eén edge case zal je in productie bijten: de zero vector (een document zonder vocabulairewoorden) heeft lengte 0, en delen door 0 geeft NaN, wat vervolgens elke downstream sort vergiftigt. Een robuuste similarity geeft 0.0 terug wanneer een van de vectoren uit alleen nullen bestaat.
Build cosine(a, b) dat de cosine similarity als een float teruggeeft, en 0.0 teruggeeft (nooit NaN) wanneer een van de inputs de nulvector is. Inputs kunnen Python lists of numpy arrays zijn.
Schrijf cosine(a, b) dat de cosine similarity van twee vectoren teruggeeft: het dot product gedeeld door het product van hun L2 norms. Accepteer Python lists of numpy arrays en geef een float terug. Parallelle vectoren geven 1.0 terug, orthogonale vectoren geven 0.0 terug, en de functie is symmetrisch. Als een van de vectoren alleen nullen bevat, geef dan 0.0 terug in plaats van delen door nul en NaN produceren.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.