पाठ्यक्रम 250 में से पाठ 180 · LLMs को production तक ले जाना: लागत, caching और guardrails
LLMs को production तक ले जाना: लागत, caching और guardrails

Semantic और hash caching

सबसे सस्ती मॉडल कॉल वह है जो आप कभी करते ही नहीं। production LLM सिस्टम मॉडल के सामने एक cache रखते हैं ताकि दोहराए या लगभग दोहराए सवालों का जवाब मुफ़्त में मिले। दो तरह ज़्यादातर मामले ढकती हैं।

Hash caching सटीक request पर कुंजी बनाता है। तरकीब है पहले सामान्य करना ताकि मामूली अलग prompts टकराएँ: टेक्स्ट को छोटे अक्षरों में करें, ख़ाली जगहों के सिलसिलों को एक ख़ाली जगह में समेटें, और hash करने से पहले कोई भी विकल्प (temperature, model) एक स्थिर, sort किए क्रम में जोड़ें। तब " Hello World " और "hello world" एक कुंजी साझा करते हैं। छोटे अक्षर करना एक अदला-बदली है: ज़्यादातर सवालों के लिए अक्षर का रूप जवाब नहीं बदलता, पर कभी-कभी बदलता है (एक code identifier, "US" बनाम "us"), इसलिए जब आपके prompts अक्षर-संवेदनशील हों तो इसे छोड़ दें।

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Semantic caching और आगे जाता है: यह cache किया जवाब लौटाता है जब नई query का मतलब किसी पुरानी जैसा ही हो, embedding vectors के बीच cosine similarity से मापा। अगर सबसे पास का रखा vector एक सीमा (मान लें 0.9) पर या उससे ऊपर score करता है, तो यह hit है; नहीं तो miss है और आप मॉडल बुलाते हैं। एक असली ऐप में vectors एक embedding मॉडल से आते हैं; यहाँ हम उन्हें सीधे देते हैं ताकि तर्क निश्चित रहे। ख़तरा एक झूठा hit है: "मैं अपना order कैसे रद्द करूँ?" और "मैं अपनी subscription कैसे रद्द करूँ?" embedding space में बहुत पास बैठ सकते हैं और उन्हें अलग जवाब चाहिए। सीमा ऊँची रखें, भरोसा करने से पहले असली traffic पर झूठे hits मापें, और पूछने वाले पर निर्भर जवाबों को कभी semantic-cache न करें।

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

तीन चीज़ें बनाएँ। (1) put(query_vec, answer) और get(query_vec) वाली एक क्लास SemanticCache जो सबसे पास की प्रविष्टि का रखा जवाब लौटाए जब उसकी cosine similarity >= self.threshold हो, नहीं तो None। (2) cache_key(prompt, **opts) जो सामान्य करे (छोटे अक्षर, ख़ाली जगह समेटें, विकल्प कुंजियाँ sort करें) और एक hex hashlib.sha256 digest लौटाए, ताकि ऊपर से अलग दो prompts एक ही कुंजी पर जाएँ। (3) make_memoized(fn) -> एक callable जो नतीजे cache करने के लिए cache_key इस्तेमाल करे और .hits और .misses counters दिखाए।

आपकी बारी

(1) SemanticCache बनाएँ (__init__ में एक threshold, साथ में put(query_vec, answer) और get(query_vec) जो cosine similarity >= threshold होने पर सबसे पास का जवाब लौटाए नहीं तो None); (2) cache_key(prompt, **opts): prompt को re.sub(r"\s+", " ", prompt.strip().lower()) से सामान्य करें, फिर "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) को hashlib.sha256 से hash करें और hex digest लौटाएँ (जाँच ठीक इसी नुस्ख़े से तुलना करती है); (3) make_memoized(fn) जो .hits और .misses वाला callable लौटाए। लगभग दोहराए vector को hit होना होगा, दूर वाले को miss, और अलग ख़ाली जगह वाले दो prompts को एक कुंजी साझा करनी होगी।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।