سرفصل‌ها درس 144 از 250 · امبدینگ‌ها و جستجوی معنایی از صفر
امبدینگ‌ها و جستجوی معنایی از صفر

شباهت کسینوس در numpy

حالا که اسناد بردار شده‌اند، چگونه می‌سنجید که آیا دو سند «شبیه» هم هستند؟ غریزه این است که از فاصله اقلیدسی (فاصله خط مستقیم) استفاده کنید، اما برای متن این یک تله است. یک سند طولانی کلمات را تکرار می‌کند، بنابراین بردار شمارش آن به سادگی بزرگ‌تر است و فاصله اقلیدسی حتی وقتی موضوع یکسان است، آن را به‌خاطر طولش تنبیه می‌کند. آنچه واقعاً برایتان اهمیت دارد جهت است: کدام کلمات، به چه نسبتی. این همان چیزی است که شباهت کسینوس اندازه‌گیری می‌کند.

شباهت کسینوسی، کسینوس زاویه بین دو بردار است:

cosine(a, b) = (a . b) / (|a| * |b|)

که در آن a . b محصول نقطه‌ای است و |a| طول (نورم L2) a. مقدار در یک بازهٔ مناسب قرار می‌گیرد:

  • ۱.۰ -> جهت یکسان (یک سند و یک نسخه بزرگ‌شده از خود آن).
  • 0.0 -> عمود بر هم، هیچ جهت مشترکی ندارند (هیچ واژه‌ی مشترکی ندارند).
  • اعداد بین این دو -> هم‌پوشانی جزئی.

از آنجا که طول‌ها را تقسیم می‌کند، کسینوس [1, 1] و [10, 10] به یکسان. این ثبات در طول دقیقاً همان دلیلی است که هر سیستم امبدینگ و RAG بر اساس کسینوس رتبه‌بندی می‌کند، نه فاصله اقلیدسی.

در numpy کل ماجرا سه فراخوانی است:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

یک مورد حاشیه‌ای در تولید به شما ضربه خواهد زد: بردار صفر (سندی که هیچ واژه‌ای در واژگان ندارد) طولی برابر با 0 دارد و تقسیم بر 0 منجر به NaN، که سپس هر مرتب‌سازی بعدی را مسموم می‌کند. یک شباهت مقاوم بازمی‌گرداند 0.0 وقتی هر یک از بردارها کاملاً صفر باشد.

ساخت cosine(a, b) که شباهت کسینوس را به صورت یک عدد اعشاری بازمی‌گرداند، و بازمی‌گرداند 0.0 (هرگز NaN) وقتی که هر یک از ورودی‌ها بردار صفر باشد. ورودی‌ها می‌توانند لیست‌های پایتون یا آرایه‌های numpy باشند.

نوبت شما

نوشتن cosine(a, b) که شباهت کسینوسی دو بردار را بازمی‌گرداند: حاصل‌ضرب نقطه‌ای تقسیم بر حاصل‌ضرب نورم‌های L2 آن‌ها. Accept Python lists or numpy arrays and return a float. Parallel vectors return 1.0، و بردارهای عمود بر هم مقدار بازگردانده‌شده برابر است با 0.0، و این تابع متقارن است. اگر هر یک از بردارها کاملاً صفر باشد، بازگردانید 0.0 به جای تقسیم بر صفر و تولید NaN.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.