Similarità del coseno con numpy
Ora che i documenti sono vettori, come misuri se due di loro sono "simili"? L'istinto è la distanza euclidea (la distanza in linea retta), ma per il testo è una trappola. Un documento lungo ripete le parole, quindi il suo vettore di conteggi è semplicemente più grande, e la distanza euclidea lo punisce per la lunghezza anche quando l'argomento è identico. Ciò che ti interessa davvero è la direzione: quali parole, in quale proporzione. È questo che misura la similarità del coseno.
La similarità del coseno è il coseno dell'angolo tra due vettori:
cosine(a, b) = (a . b) / (|a| * |b|)dove a . b è il prodotto scalare e |a| è la lunghezza (la norma L2) di a. Il valore cade in un intervallo pulito:
- 1.0 -> stessa direzione (un documento e una sua copia ingrandita).
- 0.0 -> ortogonali, nessuna direzione in comune (nessuna parola in comune).
- I valori in mezzo -> sovrapposizione parziale.
Dato che toglie le lunghezze dividendo, il coseno tratta [1, 1] e [10, 10] come identici. Quell'indifferenza alla lunghezza è esattamente il motivo per cui ogni sistema di embedding e di RAG ordina per coseno, non per distanza euclidea.
Con numpy il tutto sono tre chiamate:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Un caso limite ti morderà in produzione: il vettore zero (un documento senza parole del vocabolario) ha lunghezza 0, e dividere per 0 dà NaN, che poi avvelena ogni ordinamento a valle. Una similarità robusta restituisce 0.0 quando uno dei due vettori è tutto zeri.
Costruisci cosine(a, b) che restituisce la similarità del coseno come float, e restituisce 0.0 (mai NaN) quando uno dei due input è il vettore zero. Gli input possono essere liste Python o array numpy.
Scrivi cosine(a, b) che restituisce la similarità del coseno di due vettori: il prodotto scalare diviso per il prodotto delle loro norme L2. Accetta liste Python o array numpy e restituisci un float. Vettori paralleli restituiscono 1.0, vettori ortogonali restituiscono 0.0, e la funzione è simmetrica. Se uno dei due vettori è tutto zeri, restituisci 0.0 invece di dividere per zero e produrre NaN.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.