Similaridade de Cosseno em numpy
Agora que documentos são vetores, como você mede se dois deles são "parecidos"? O instinto é a distância Euclidiana (distância em linha reta), mas para texto isso é uma armadilha. Um documento longo repete palavras, então seu vetor de contagem é simplesmente bigger, e a distância Euclidiana o pune pelo comprimento mesmo quando o tópico é idêntico. O que você realmente se importa é a direction: quais palavras, em qual proporção. É isso que a cosine similarity mede.
A similaridade de cosseno é o cosseno do ângulo entre dois vetores:
cosine(a, b) = (a . b) / (|a| * |b|)onde a . b é o produto escalar e |a| é o comprimento (a norma L2) de a. O valor cai em um intervalo limpo:
- 1.0 -> mesma direção (um documento e uma cópia de si mesmo redimensionada).
- 0.0 -> ortogonal, sem direção compartilhada (sem palavras em comum).
- Valores entre eles -> sobreposição parcial.
Porque ele divide os comprimentos, o cosseno trata [1, 1] e [10, 10] como idênticos. Essa invariância de comprimento é exatamente por que cada embedding e sistema RAG classifica por cosseno, não por distância Euclidiana.
No numpy a coisa toda são três chamadas:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Um caso de borda vai te pegar em produção: o vetor zero (um documento sem palavras de vocabulário) tem comprimento 0, e dividir por 0 dá NaN, o que então contamina cada ordenação posterior. Uma similaridade robusta retorna 0.0 quando qualquer um dos vetores for todo zeros.
Build cosine(a, b) que retorna a similaridade de cosseno como um float, e retorna 0.0 (nunca NaN) quando qualquer entrada for o vetor zero. As entradas podem ser listas Python ou arrays numpy.
Escreva cosine(a, b) que retorna a similaridade de cosseno de dois vetores: o produto escalar dividido pelo produto de suas normas L2. Aceite listas Python ou arrays numpy e retorne um float. Vetores paralelos retornam 1.0, vetores ortogonais retornam 0.0, e a função é simétrica. Se qualquer vetor for todo zeros, retorne 0.0 em vez de dividir por zero e produzir NaN.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.