पाठ्यक्रम 250 में से पाठ 179 · LLMs को production तक ले जाना: लागत, caching और guardrails
LLMs को production तक ले जाना: लागत, caching और guardrails

Context-window बजट बनाने वाला

हर मॉडल की एक सीमित context window होती है: एक कॉल में वह ज़्यादा से ज़्यादा कितने tokens पढ़ सकता है। एक लंबा chat इतिहास आख़िरकार उससे बाहर निकल जाता है, और कॉल या तो error देती है या चुपचाप कट जाती है। production इलाज एक बजट बनाने वाला है जो बातचीत भेजने से पहले उसे काटता है।

मानक नीति सादी और आज़माई हुई है: system संदेश हमेशा रखें (उसमें वे निर्देश और किरदार हैं जो कभी नहीं हटने चाहिए), फिर सबसे पुरानी सामान्य बारियाँ एक-एक करके हटाएँ जब तक चलता token अनुमान बजट में न आ जाए। सुसंगतता के लिए हाल की बारियाँ सबसे ज़्यादा मायने रखती हैं, इसलिए वे सबसे आख़िर में जाती हैं।

संदेश जाने-पहचाने chat फ़ॉर्मैट जैसे दिखते हैं:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

पिछले पाठ से आपके पास पहले से एक token अनुमानक (chars/4) है; यहाँ यह आपको estimate_tokens के रूप में दिया गया है। चलता कुल पाने के लिए हर रखे संदेश के content पर इसे जोड़ें।

fit_to_budget(messages, max_tokens) बनाएँ। संदेशों की एक नई सूची लौटाएँ, मूल क्रम में, ऐसी कि: system संदेश(ओं) हमेशा रखे जाएँ; जब भी हटाना संभव हो रखे संदेशों के कुल अनुमानित tokens <= max_tokens हों; और जब हटाना ज़रूरी हो, तो आप सबसे पुराने non-system संदेश पहले हटाएँ। उदार बजट सब कुछ रखता है। इनपुट सूची को न बदलें।

आपकी बारी

fit_to_budget(messages, max_tokens) लिखें जो रखे संदेश मूल क्रम में लौटाए। हर system संदेश रखें। सबसे पुराने non-system संदेश एक-एक करके हटाएँ जब तक कुल अनुमानित token गिनती (हर content पर estimate_tokens जोड़कर) <= max_tokens न हो। उदार बजट कुछ नहीं हटाता; दो अलग बजटों को अलग sets रखने होंगे, और सबसे हाल की बारियाँ पुरानी पर बचती हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।