Conteúdo do curso Lição 144 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

Similaridade de Cosseno em numpy

Agora que documentos são vetores, como você mede se dois deles são "parecidos"? O instinto é a distância Euclidiana (distância em linha reta), mas para texto isso é uma armadilha. Um documento longo repete palavras, então seu vetor de contagem é simplesmente bigger, e a distância Euclidiana o pune pelo comprimento mesmo quando o tópico é idêntico. O que você realmente se importa é a direction: quais palavras, em qual proporção. É isso que a cosine similarity mede.

A similaridade de cosseno é o cosseno do ângulo entre dois vetores:

cosine(a, b) = (a . b) / (|a| * |b|)

onde a . b é o produto escalar e |a| é o comprimento (a norma L2) de a. O valor cai em um intervalo limpo:

  • 1.0 -> mesma direção (um documento e uma cópia de si mesmo redimensionada).
  • 0.0 -> ortogonal, sem direção compartilhada (sem palavras em comum).
  • Valores entre eles -> sobreposição parcial.

Porque ele divide os comprimentos, o cosseno trata [1, 1] e [10, 10] como idênticos. Essa invariância de comprimento é exatamente por que cada embedding e sistema RAG classifica por cosseno, não por distância Euclidiana.

No numpy a coisa toda são três chamadas:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

Um caso de borda vai te pegar em produção: o vetor zero (um documento sem palavras de vocabulário) tem comprimento 0, e dividir por 0 dá NaN, o que então contamina cada ordenação posterior. Uma similaridade robusta retorna 0.0 quando qualquer um dos vetores for todo zeros.

Build cosine(a, b) que retorna a similaridade de cosseno como um float, e retorna 0.0 (nunca NaN) quando qualquer entrada for o vetor zero. As entradas podem ser listas Python ou arrays numpy.

Sua vez

Escreva cosine(a, b) que retorna a similaridade de cosseno de dois vetores: o produto escalar dividido pelo produto de suas normas L2. Aceite listas Python ou arrays numpy e retorne um float. Vetores paralelos retornam 1.0, vetores ortogonais retornam 0.0, e a função é simétrica. Se qualquer vetor for todo zeros, retorne 0.0 em vez de dividir por zero e produzir NaN.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.