पाठ्यक्रम 250 में से पाठ 132 · AI engineers के लिए prompt engineering
AI engineers के लिए prompt engineering

Context और token बजट

हर मॉडल की एक सीमित context window होती है, और आप हर token के लिए भुगतान करते हैं। जब बातचीत बजट से बड़ी हो जाती है, तो आप पूरी नहीं भेज सकते, इसलिए आप तय करते हैं कि क्या रखना है। मानक नीति: system prompt रखें (यह नियम तय करता है) और साथ में वे सबसे हाल के संदेश जो अब भी आ सकते हैं, और सबसे पुराने हटाएँ।

आप एक सादा बजट बनाने वाला बनाएँगे। पहले, एक मोटा token अनुमानक: असली tokenizers मॉडल के हिसाब से होते हैं, पर एक ठोस offline अनुमान लगभग 4 अक्षर प्रति token है। estimate_tokens(text) len(text) // 4 लौटाता है (और ख़ाली टेक्स्ट के लिए 0, किसी भी ग़ैर-ख़ाली टेक्स्ट के लिए कम से कम 1)।

फिर fit_context(system, messages, budget) तय करता है कि क्या बचेगा:

  • system prompt पहले गिना जाता है और हमेशा रखा जाता है।
  • संदेशों पर सबसे नए से सबसे पुराने तक चलें, हर उस संदेश को रखते हुए जिसके tokens अब भी बजट के नीचे आते हैं; जब अगला ओवरफ़्लो करे तो रुक जाएँ।
  • {"kept": [...], "dropped": n, "tokens": total} लौटाएँ, kept को समय के क्रम में वापस रखते हुए।
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

ग्रेडर जो दो बारीकियाँ जाँचता है: तंग बजट कम (और सही) संदेश रखता है, और ग़ैर-ख़ाली system prompt बजट खाता है इसलिए कम संदेश आते हैं। सबसे-नया-पहले चुनने के लिए उलटे चलें, फिर रखी सूची को वापस उलटें ताकि बातचीत क्रम में पढ़ी जाए। ग्रेड करने के लिए Run दबाएँ।

आपकी बारी

estimate_tokens(text) लिखें जो len(text) // 4 लौटाए (ख़ाली के लिए 0, ग़ैर-ख़ाली के लिए कम से कम 1)। fit_context(system, messages, budget) लिखें जो पहले system गिने, आने वाले सबसे नए संदेश रखे (उलटे चलें), और {"kept", "dropped", "tokens"} लौटाए, kept को वापस समय के क्रम में रखते हुए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।