Context और token बजट
हर मॉडल की एक सीमित context window होती है, और आप हर token के लिए भुगतान करते हैं। जब बातचीत बजट से बड़ी हो जाती है, तो आप पूरी नहीं भेज सकते, इसलिए आप तय करते हैं कि क्या रखना है। मानक नीति: system prompt रखें (यह नियम तय करता है) और साथ में वे सबसे हाल के संदेश जो अब भी आ सकते हैं, और सबसे पुराने हटाएँ।
आप एक सादा बजट बनाने वाला बनाएँगे। पहले, एक मोटा token अनुमानक: असली tokenizers मॉडल के हिसाब से होते हैं, पर एक ठोस offline अनुमान लगभग 4 अक्षर प्रति token है। estimate_tokens(text) len(text) // 4 लौटाता है (और ख़ाली टेक्स्ट के लिए 0, किसी भी ग़ैर-ख़ाली टेक्स्ट के लिए कम से कम 1)।
फिर fit_context(system, messages, budget) तय करता है कि क्या बचेगा:
- system prompt पहले गिना जाता है और हमेशा रखा जाता है।
- संदेशों पर सबसे नए से सबसे पुराने तक चलें, हर उस संदेश को रखते हुए जिसके tokens अब भी बजट के नीचे आते हैं; जब अगला ओवरफ़्लो करे तो रुक जाएँ।
{"kept": [...], "dropped": n, "tokens": total}लौटाएँ,keptको समय के क्रम में वापस रखते हुए।
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveग्रेडर जो दो बारीकियाँ जाँचता है: तंग बजट कम (और सही) संदेश रखता है, और ग़ैर-ख़ाली system prompt बजट खाता है इसलिए कम संदेश आते हैं। सबसे-नया-पहले चुनने के लिए उलटे चलें, फिर रखी सूची को वापस उलटें ताकि बातचीत क्रम में पढ़ी जाए। ग्रेड करने के लिए Run दबाएँ।
estimate_tokens(text) लिखें जो len(text) // 4 लौटाए (ख़ाली के लिए 0, ग़ैर-ख़ाली के लिए कम से कम 1)। fit_context(system, messages, budget) लिखें जो पहले system गिने, आने वाले सबसे नए संदेश रखे (उलटे चलें), और {"kept", "dropped", "tokens"} लौटाए, kept को वापस समय के क्रम में रखते हुए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।