Cosine Similarity di numpy
Sekarang dokumen sudah jadi vektor, bagaimana cara kamu mengukur apakah dua dokumen itu "mirip"? Instingnya adalah Euclidean distance (jarak garis lurus), tapi untuk teks itu jebakan. Dokumen panjang mengulang kata-kata, jadi count vector-nya hanya bigger, dan Euclidean distance menghukumnya karena panjangnya meskipun topiknya identik. Yang sebenarnya kamu pedulikan adalah direction: kata mana saja, dalam proporsi apa. Itulah yang diukur oleh cosine similarity.
Cosine similarity adalah kosinus dari sudut antara dua vektor:
cosine(a, b) = (a . b) / (|a| * |b|)di mana a . b adalah dot product dan |a| adalah panjang (L2 norm) dari a. Nilainya ada di rentang yang bersih:
- 1.0 -> arah yang sama (sebuah dokumen dan salinan dirinya yang diperbesar).
- 0.0 -> ortogonal, tidak ada arah yang sama (tidak ada kata yang sama).
- Nilai di antaranya -> tumpang tindih sebagian.
Karena ia membagi panjangnya, cosine menganggap [1, 1] dan [10, 10] identik. Invariansi panjang itulah alasan mengapa setiap embedding dan sistem RAG mengurutkan berdasarkan cosine, bukan jarak Euclidean.
Di numpy semuanya cuma tiga panggilan:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0Satu edge case akan menyulitkanmu di produksi: vektor nol (dokumen tanpa kata kosakata) memiliki panjang 0, dan membagi dengan 0 menghasilkan NaN, yang kemudian merusak setiap pengurutan selanjutnya. Similarity yang kuat mengembalikan 0.0 jika salah satu vektor berisi semua nol.
Build cosine(a, b) yang mengembalikan cosine similarity sebagai float, dan mengembalikan 0.0 (jangan pernah NaN) jika salah satu input adalah zero vector. Input bisa berupa Python lists atau numpy arrays.
Tulis cosine(a, b) yang mengembalikan cosine similarity dari dua vektor: dot product dibagi hasil kali L2 norm mereka. Terima list Python atau numpy arrays dan kembalikan float. Vektor sejajar mengembalikan 1.0, vektor ortogonal mengembalikan 0.0, dan fungsinya simetris. Jika salah satu vektor berisi semua nol, kembalikan 0.0 daripada membagi dengan nol dan menghasilkan NaN.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.