المنهج الدراسي الدرس 144 من 250 · التضمينات والبحث الدلالي من الصفر
التضمينات والبحث الدلالي من الصفر

تشابه جيب التمام في numpy

بما أن المستندات أصبحت متجهات، كيف تقيس ما إذا كان اثنان منها "متشابهين"؟ الغريزة هي المسافة الإقليدية (المسافة الخطية المستقيمة)، لكن بالنسبة للنصوص هذا فخ. المستند الطويل يكرر الكلمات، لذا فإن متجه عدها هو ببساطة bigger، والمسافة الإقليدية تعاقبه على الطول حتى لو كان الموضوع متطابقا. ما يهمك حقا هو direction: أي الكلمات، وبأي نسبة. هذا ما يقيسه cosine similarity.

تشابه جيب التمام هو جيب تمام الزاوية بين متجهين:

cosine(a, b) = (a . b) / (|a| * |b|)

حيث a . b هو حاصل الضرب النقطي و |a| هو الطول (معيار L2) لـ a. تقع القيمة في نطاق نظيف:

  • 1.0 -> نفس الاتجاه (مستند ونسخة منه مكبرة).
  • 0.0 -> متعامدة، لا يوجد اتجاه مشترك (لا توجد كلمات مشتركة).
  • القيم بينهما -> تداخل جزئي.

بما أنه يقسم الأطوال، فإن cosine يعامل [1, 1] و [10, 10] كأنهما متطابقان. هذا الثبات في الطول هو بالضبط السبب في أن كل نظام embedding و RAG يرتب النتائج بواسطة cosine، وليس Euclidean distance.

في numpy العملية بأكملها هي ثلاث استدعاءات:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

حالة حدّية واحدة ستلدغك في الإنتاج: المتجه الصفري (مستند بلا كلمات من المفردات) طوله 0، والقسمة على 0 تعطي NaN، وهذا يسمّم كل عملية فرز لاحقة. التشابه المتين يُرجع 0.0 عندما يكون أي من المتجهين أصفاراً بالكامل.

قم ببناء

البناء cosine(a, b) التي تعيد تشابه جيب التمام كقيمة float، وتعيد 0.0 (وليس NaN أبدا) عندما يكون أي من المدخلات هو متجه الصفر. قد تكون المدخلات قوائم Python أو مصفوفات numpy.

دورك

اكتب cosine(a, b) الذي يعيد تشابه جيب التمام لمتجهين: حاصل الضرب النقطي مقسوما على حاصل ضرب معايير L2 الخاصة بهما. اقبل قوائم Python أو مصفوفات numpy وأعد float. المتجهات المتوازية تعيد 1.0، المتجهات المتعامدة تعيد 0.0، والدالة متماثلة. إذا كان أي من المتجهين يحتوي على أصفار فقط، أعد 0.0 بدلا من القسمة على صفر وإنتاج NaN.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.