Programma Les 144 van 250 · Embeddings & Semantische Zoekopdracht vanaf het begin
Embeddings & Semantische Zoekopdracht vanaf het begin

Cosinusgelijkenis in numpy

Nu zijn documenten vectoren, hoe meet je dan of twee ervan "op elkaar lijken"? Het instinct is de Euclidische afstand (rechte lijn afstand), maar voor tekst is dat een valkuil. Een lang document herhaalt woorden, dus zijn count vector is simpelweg bigger, en de Euclidische afstand straft het voor de lengte zelfs als het onderwerp identiek is. Waar het je echt om gaat is direction: welke woorden, in welke verhouding. Dat is wat cosine similarity meet.

Cosine similarity is de cosinus van de hoek tussen twee vectoren:

cosine(a, b) = (a . b) / (|a| * |b|)

waarbij a . b het dot product is en |a| de lengte (de L2 norm) van a. De waarde valt in een schoon bereik:

  • 1.0 -> dezelfde richting (een document en een kopie van zichzelf die is vergroot).
  • 0.0 -> orthogonaal, geen gedeelde richting (geen woorden gemeen).
  • Waarden ertussen -> gedeeltelijke overlap.

Omdat het de lengtes wegdeelt, behandelt cosine [1, 1] en [10, 10] als identiek. Die lengte-invariantie is precies waarom elke embedding en RAG-systeem rangschikt op basis van cosine, niet op Euclidische afstand.

In numpy is het geheel drie aanroepen:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

Eén edge case zal je in productie bijten: de zero vector (een document zonder vocabulairewoorden) heeft lengte 0, en delen door 0 geeft NaN, wat vervolgens elke downstream sort vergiftigt. Een robuuste similarity geeft 0.0 terug wanneer een van de vectoren uit alleen nullen bestaat.

Build cosine(a, b) dat de cosine similarity als een float teruggeeft, en 0.0 teruggeeft (nooit NaN) wanneer een van de inputs de nulvector is. Inputs kunnen Python lists of numpy arrays zijn.

Jij bent aan de beurt

Schrijf cosine(a, b) dat de cosine similarity van twee vectoren teruggeeft: het dot product gedeeld door het product van hun L2 norms. Accepteer Python lists of numpy arrays en geef een float terug. Parallelle vectoren geven 1.0 terug, orthogonale vectoren geven 0.0 terug, en de functie is symmetrisch. Als een van de vectoren alleen nullen bevat, geef dan 0.0 terug in plaats van delen door nul en NaN produceren.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.