पाठ्यक्रम 250 में से पाठ 144 · शुरू से embeddings और semantic search
शुरू से embeddings और semantic search

numpy में cosine similarity

अब जब दस्तावेज़ vectors हैं, तो आप कैसे मापें कि दो "मिलते-जुलते" हैं? सहज प्रवृत्ति Euclidean distance (सीधी-रेखा दूरी) है, पर टेक्स्ट के लिए यह जाल है। एक लंबा दस्तावेज़ शब्द दोहराता है, इसलिए उसका गिनती vector बस बड़ा होता है, और Euclidean distance विषय एक जैसा होने पर भी उसे लंबाई के लिए सज़ा देती है। आपको असल में दिशा की परवाह है: कौन-से शब्द, किस अनुपात में। cosine similarity यही मापती है।

cosine similarity दो vectors के बीच के कोण का cosine है:

cosine(a, b) = (a . b) / (|a| * |b|)

जहाँ a . b dot product है और |a| a की लंबाई (L2 norm) है। मान एक साफ़ दायरे में आता है:

  • 1.0 -> एक ही दिशा (एक दस्तावेज़ और उसकी बड़ी की गई कॉपी)।
  • 0.0 -> लंबवत, कोई साझा दिशा नहीं (कोई साझा शब्द नहीं)।
  • बीच के मान -> आंशिक मेल।

क्योंकि यह लंबाइयों को भाग देकर हटा देती है, cosine [1, 1] और [10, 10] को एक जैसा मानती है। यही लंबाई से स्वतंत्रता वजह है कि हर embedding और RAG सिस्टम Euclidean distance के बजाय cosine से rank करता है।

numpy में पूरी चीज़ तीन कॉल है:

import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # -> 1.0

एक किनारे का मामला production में आपको काटेगा: शून्य vector (बिना vocabulary शब्दों वाला दस्तावेज़) की लंबाई 0 है, और 0 से भाग देने पर NaN मिलता है, जो फिर हर आगे वाले sort को ज़हरीला बना देता है। एक मज़बूत similarity किसी भी vector के सब-शून्य होने पर 0.0 लौटाती है।

बनाएँ cosine(a, b) जो cosine similarity float के रूप में लौटाए, और किसी भी इनपुट के शून्य vector होने पर 0.0 लौटाए (कभी NaN नहीं)। इनपुट Python सूचियाँ या numpy ऐरे हो सकते हैं।

आपकी बारी

cosine(a, b) लिखें जो दो vectors की cosine similarity लौटाए: dot product भाग उनके L2 norms का गुणनफल। Python सूचियाँ या numpy ऐरे स्वीकार करें और float लौटाएँ। समानांतर vectors 1.0 लौटाते हैं, लंबवत vectors 0.0, और फ़ंक्शन सममित है। अगर कोई भी vector सब-शून्य है, तो शून्य से भाग देकर NaN बनाने के बजाय 0.0 लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।