Token/लागत का हिसाब + caching
आपका gateway अब अनुरोध route करता है, पर असली मॉडल को हर कॉल पैसे और समय लेती है। आपके नियंत्रण में दो सबसे बड़े लीवर लागत का हिसाब (ताकि बिल से कोई चौंके नहीं) और caching (ताकि आप एक ही जवाब के लिए दो बार पैसे देना बंद करें) हैं। यह पाठ दोनों बनाता है, और caching में एक मोड़ है जो इसे सचमुच काम का बनाता है: यह सिर्फ़ byte दर byte दोहराव नहीं, लगभग दोहराए सवाल भी पकड़ता है।
मीटर से शुरू करें। एक सस्ता, निश्चित token अनुमान है "हर चार अक्षरों पर लगभग एक token," और लागत बस tokens गुणा एक प्रति-token दर है:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateअब cache। एक भोला cache सटीक स्ट्रिंग पर कुंजी बनाता है, इसलिए "Reset my password" और "reset my password" अलग सवाल दिखते हैं और दोनों पूरी क़ीमत देते हैं। आप एक दो-स्तरीय Cache क्लास बनाएँगे:
- Hash स्तर: टेक्स्ट सामान्य करें (छोटे अक्षर, ख़ाली जगह समेटें), उसे hash करें, और जवाब उस कुंजी के नीचे रखें। एक सटीक दोहराव (सामान्य करने के बाद) तुरंत hit है।
- Semantic स्तर: जब hash miss हो, तो query के embedding की तुलना हर रखे embedding से cosine similarity से करें। अगर सबसे पास वाला एक सीमा (मान लें
0.9) पर या ऊपर है, तो वह भी hit गिना जाता है। इसी तरह"password reset steps"एक cache किए"how do I reset my password"से टकराता है।
put और get दोनों टेक्स्ट और एक पहले से निकाला embedding (एक छोटा vector) लेते हैं। get एक (status, value) tuple लौटाता है जहाँ status "hit" या "miss" है:
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)cosine similarity dot product भाग norms का गुणनफल है; शून्य vector से बचाव करें ताकि आप कभी शून्य से भाग न दें। एक असली gateway में वे embeddings मॉडल से आते हैं, पर यहाँ आप उन्हें सीधे देते हैं ताकि तर्क offline टेस्ट हो सके। एक prompt की क़ीमत लगाने, cache से ठीक टकराने, एक पर्यायवाची वाक्य पर फिर टकराने, और एक असंबंधित query को miss होते देखने के लिए Run दबाएँ।
estimate_cost(text, rate) लिखें जो एक token अनुमान (~हर 4 अक्षर पर 1 token) गुणा प्रति-token rate लौटाए। फिर put(text, embedding, answer) और get(text, embedding) वाली एक दो-स्तरीय Cache क्लास बनाएँ जो एक (status, value) tuple लौटाए। get एक hash से सटीक (सामान्य किए: छोटे अक्षर, ख़ाली जगह समेटी) टेक्स्ट मिलान पर "hit" है, या जब सबसे पास के रखे embedding की cosine similarity >= सीमा हो (एक semantic hit); नहीं तो ("miss", None)। कम similarity वाली एक अलग query को miss होना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।