Kosinus-ooreenstemming in numpy
Nou dat dokumente vektore is, hoe meet jy of twee van hulle "soortgelyk" is? Die instink is Euclidiese afstand (reguitlynafstand), maar vir teks is dit 'n lokval. 'n Lange dokument herhaal woorde, so sy telvektor is eenvoudig bigger, en Euclidiese afstand straf dit vir lengte selfs wanneer die onderwerp identies is. Waarop jy werklik gee is direction: watter woorde, in watter verhouding. Dit is wat cosine similarity meet.
Cosine similarity is die kosinus van die hoek tussen twee vektore:
cosine(a, b) = (a . b) / (|a| * |b|)waar a . b die stipproduk is en |a| die lengte (die L2-norm) van a. Die waarde land in 'n skoon reeks:
- 1.0 -> dieselfde rigting ('n dokument en 'n kopie van homself wat vergroot is).
- 0.0 -> ortogonaal, geen gedeelde rigting nie (geen woorde in gemeen nie).
- Waardes tussenin -> gedeeltelike oorklapping.
Omdat dit die lengtes uitdeel, behandel cosine [1, 1] en [10, 10] as identies. Daardie lengte-onveranderlikheid is presies waarom elke embedding en RAG-stelsel rangskik volgens cosine, nie Ewidiese afstand nie.
In numpy is die hele ding drie oproepe:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Een uiterste geval sal jou in produksie byt: die zero vector ('n dokument met geen woordes nie) het lengte 0, en om deur 0 te deel gee NaN, wat dan elke daaropvolgende sorteer beskompel. 'n Robuuste ooreenstemming gee 0.0 wanneer een van die vektore net nulle is.
Bou cosine(a, b) wat die cosine similarity as 'n float teruggee, en 0.0 (nooit NaN) teruggee wanneer een van die insets die nulvektor is. Insets kan Python-lyste of numpy-arrays wees.
Skryf cosine(a, b) wat die cosine similarity van twee vektore teruggee: die dot product gedeel deur die produk van hul L2 norms. Aanvaar Python lists of numpy arrays en gee 'n float terug. Parallel vektore gee 1.0 terug, ortogonale vektore gee 0.0 terug, en die funksie is simmetries. As een van die vektore alles nulle is, gee 0.0 terug eerder as om deur nul te deel en NaN te produseer.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.