पाठ्यक्रम 250 में से पाठ 178 · LLMs को production तक ले जाना: लागत, caching और guardrails
LLMs को production तक ले जाना: लागत, caching और guardrails

Token और लागत का हिसाब

एक मॉडल कॉल असली पैसे लेती है, और बिल tokens में मापा जाता है, अक्षरों या शब्दों में नहीं। एक token मोटे तौर पर कुछ अक्षरों का टुकड़ा है। सटीक गिनती मॉडल के tokenizer से आती है, पर बजट और dashboards के लिए एक अच्छा मोटा नियम है tokens ≈ characters / 4। यह अनुमान ख़र्च का पूर्वानुमान लगाने, हर request की सीमा तय करने, और आपका बजट उड़ाने वाले prompt को पहचानने के लिए काफ़ी पास है।

प्रदाता input (prompt) tokens और output (completion) tokens की क़ीमत अलग दरों पर लगाते हैं, आमतौर पर प्रति 1,000,000 tokens डॉलर में बताई जाती है। output अक्सर input से कई गुना महँगा होता है, इसलिए बँटवारा मायने रखता है। एक कॉल की लागत है:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

एक असली ऐप में आप सच्ची token गिनती सीधे response से पढ़ेंगे। उदाहरण के लिए, एक on-device WebLLM engine इसे जवाब के साथ लौटाता है:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

वह live कॉल सिर्फ़ उदाहरण है। यहाँ आप वह निश्चित हिसाब परत बनाते हैं जो किसी भी मॉडल के चारों ओर बैठती है: एक token अनुमानक और क़ीमत तालिका पर एक लागत फ़ंक्शन। हर लागत dashboard इन्हीं दो फ़ंक्शनों से बनता है।

दो फ़ंक्शन बनाएँ। estimate_tokens(text) chars/4 नियम से एक पूर्णांक token अनुमान लौटाता है (पूर्णांक भाग इस्तेमाल करें, ताकि "" -> 0)। estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) ऊपर के सूत्र से डॉलर लागत लौटाता है, जहाँ दरें प्रति 1,000,000 tokens डॉलर हैं। दोनों को शुद्ध और बिना दुष्प्रभाव रखें।

आपकी बारी

estimate_tokens(text) लिखें जो एक पूर्णांक token अनुमान लौटाए (लगभग len(text) // 4, इसलिए ख़ाली स्ट्रिंग 0 है) और estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) जो डॉलर लागत लौटाए, जहाँ in_rate और out_rate प्रति 1,000,000 tokens क़ीमतें हैं। दो टेक्स्ट में लंबे वाले का अनुमान कभी कम tokens नहीं होना चाहिए, और दोनों दरें अलग होने पर prompt-भारी कॉल को completion-भारी से बदलने पर लागत बदलनी चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।