Müfredat 250 dersinden 144. · Sıfırdan Embeddings ve Semantik Arama
Sıfırdan Embeddings ve Semantik Arama

numpy'da Kosinüs Benzerliği

Belgeler artık vektör olduğuna göre, ikisinin birbirine "benzer" olup olmadığını nasıl ölçersin? İçgüdüsel olarak Öklid mesafesi (doğrusal mesafe) gelir ama metin için bu bir tuzaktır. Uzun bir belge kelimeleri tekrar eder, bu yüzden sayım vektörü sadece bigger olur ve Öklid mesafesi konu aynı olsa bile uzunluğu için onu cezalandırır. Asıl umursadığın şey direction: hangi kelimelerin, hangi oranda olduğudur. İşte cosine similarity bunu ölçer.

Cosine similarity, iki vektör arasındaki açının kosinüsüdür:

cosine(a, b) = (a . b) / (|a| * |b|)

, burada a . b nokta çarpımı ve |a|, a'nin uzunluğudur (L2 normu). Değer temiz bir aralığa düşer:

  • 1.0 -> aynı yön (bir belge ve kendisinin ölçeklendirilmiş bir kopyası).
  • 0.0 -> dik, ortak yön yok (ortak kelime yok).
  • Aradaki değerler -> kısmi çakışma.

Uzunlukları dışarıda bıraktığı için cosine, [1, 1] ve [10, 10] değerlerini özdeş kabul eder. Uzunluktan bağımsızlık tam olarak her embedding ve RAG sisteminin Euclidean distance yerine cosine ile sıralama yapmasının nedenidir.

numpy içinde her şey üç çağrıdır:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

Bir uç durum üretim aşamasında seni yakalayacak: zero vector (hiçbir kelime içermeyen bir belge) 0 uzunluğundadır ve 0'a bölmek NaN sonucunu verir, bu da sonraki her sıralamayı bozar. Sağlam bir benzerlik, vektörlerden biri tamamen sıfır olduğunda 0.0 döndürür.

Build cosine(a, b) kosinüs benzerliğini float olarak döndüren ve girdilerden biri sıfır vektörü olduğunda 0.0 (asla NaN değil) döndüren bir fonksiyon yaz. Girdiler Python listeleri veya numpy dizileri olabilir.

Senin sıran

İki vektörün kosinüs benzerliğini döndüren cosine(a, b) yaz. Nokta çarpımını L2 normlarının çarpımına böl. Python listeleri veya numpy dizileri kabul et ve bir float döndür. Paralel vektörler 1.0, dik vektörler 0.0 döndürür ve fonksiyon simetriktir. Eğer vektörlerden biri tamamen sıfırsa, sıfıra bölüp NaN üretmek yerine 0.0 döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.