Routing और dedup के लिए clustering (KMeans)
टेक्स्ट vectors बन जाने पर clustering दो ऐसे काम खोलता है जिनसे आप LLM सिस्टम में लगातार टकराते हैं। Semantic routing: उदाहरण वाक्यों को समूहों में बाँटें (billing, tech support, sales), फिर नए संदेश को उस handler तक भेजें जिसके समूह centroid के वह सबसे पास बैठता है। संभावित दोहराव ढूँढना: लगभग एक जैसे दस्तावेज़ एक ही समूह में आते हैं, जिससे देखने की जगह छोटी हो जाती है। एक समूह साझा करना दो दस्तावेज़ों को दोहराव नहीं बनाता (एक समूह में सैकड़ों बस संबंधित दस्तावेज़ हो सकते हैं), इसलिए असली जाँच समूह के अंदर हर जोड़े पर एक similarity सीमा है, या बड़े संग्रहों के लिए MinHash जैसी तकनीक।
KMeans मेहनती औज़ार है। आप बताते हैं कि आपको कितने समूह k चाहिए; यह k centroids ढूँढता है और हर vector को उसके सबसे पास वाले को सौंपता है। scikit-learn भारी काम करता है:
from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors) # cluster index per input vector
model.cluster_centers_ # the k centroids
model.predict(new_vector) # route a NEW vector to a clusterव्यवहार में दो चीज़ें इसे बनाती या बिगाड़ती हैं:
- निश्चितता। KMeans रैंडम centroids से शुरू होता है, इसलिए आपको
random_state=0देना होगा। इसके बिना वही डेटा अलग बार अलग labels दे सकता है, और आपकी routing दोहराई नहीं जा सकती। (पूर्णांक label मान ख़ुद मनमाने नाम हैं; मायने रखता है कि कौन-से बिंदु एक label साझा करते हैं।) - नए बिंदु को route करना पहले से fit हुए मॉडल पर
predictइस्तेमाल करता है, जो उसे सबसे पास के centroid को सौंपता है। आप दोबारा fit नहीं करते।
अच्छी तरह अलग बिंदुओं के दो समूहों को दो साफ़ clusters में गिरना चाहिए, और एक समूह में बैठे नए बिंदु को उस समूह के cluster तक route होना चाहिए।
दो फ़ंक्शन बनाएँ। cluster_route(vectors, k) vectors पर KMeans(n_clusters=k, random_state=0, n_init=10) fit करता है और tuple (labels, model) लौटाता है, जहाँ labels cluster indices की सूची है (हर इनपुट vector का एक)। route_new(model, vector) वह cluster index (एक int) लौटाता है जिस तक fit हुए मॉडल से नया vector route होता है।
दो फ़ंक्शन लिखें। cluster_route(vectors, k) vectors पर KMeans(n_clusters=k, random_state=0, n_init=10) fit करता है और tuple (labels, model) लौटाता है: labels हर vector के एक cluster index वाली सूची है, और model fit हुआ estimator है। route_new(model, vector) वह cluster index (int) लौटाता है जिस तक fit हुए मॉडल से नया vector route होता है। दो साफ़ अलग समूहों को दो अलग clusters में आना होगा, नए vector को सबसे पास के centroid तक route होना होगा, अलग clusters की संख्या k के बराबर होनी चाहिए, और random_state=0 की बदौलत नतीजे हर बार एक जैसे होने चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।