पाठ्यक्रम 250 में से पाठ 189 · Production पैटर्न: retries, async, streaming और memory
Production पैटर्न: retries, async, streaming और memory

कई बारियों वाली बातचीत की memory

एक chatbot की अपनी कोई memory नहीं होती -> मॉडल हर कॉल पर सिर्फ़ वही देखता है जो आप भेजते हैं। बातचीत चलाने के लिए आप इतिहास दोबारा चलाते हैं: system संदेश और अब तक की आगे-पीछे की बारियाँ। पर इतिहास बिना सीमा बढ़ता है और context window नहीं, इसलिए आपको एक memory चाहिए जो बातचीत रखे और हर कॉल से पहले उसे फ़िट होने के लिए काटे।

नीति वही है जिस पर production सिस्टम पहुँचते हैं। system संदेश हमेशा रखें -> इसमें वे निर्देश और किरदार हैं जो कभी नहीं खोने चाहिए। फिर बजट में आने वाली जितनी सबसे हाल की बारियाँ हों रखें, सबसे पुरानी सामान्य बारियाँ पहले हटाते हुए, क्योंकि एक सुसंगत जवाब के लिए हाल का संदर्भ सबसे ज़्यादा मायने रखता है। token बजट जाना-पहचाना अनुमान chars / 4 इस्तेमाल करते हैं।

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

यह ठीक वही ऑब्जेक्ट है जो किसी भी chat मॉडल के सामने बैठता है, on-device WebLLM engine समेत: आप बारियाँ जमा करते हैं, फिर अगली कॉल के संदेशों के रूप में trimmed_context(...) देते हैं। यहाँ कोई मॉडल नहीं चलता -> काटने का तर्क निश्चित है और सीधे ग्रेड होता है।

एक Conversation क्लास बनाएँ। constructor एक वैकल्पिक system संदेश लेता है (पक्का किया, कभी नहीं हटता)। add(role, content) एक बारी जोड़ता है। trimmed_context(max_tokens) रखी बारियाँ समय के क्रम में लौटाता है: हर system संदेश, और साथ में सबसे हाल की सामान्य बारियाँ जिनके अनुमानित tokens (chars / 4 नियम से जोड़कर) max_tokens के भीतर आते हैं, सबसे पुरानी पहले हटाते हुए। उदार बजट के नीचे छोटा इतिहास पूरा रखा जाता है।

आपकी बारी

एक Conversation क्लास बनाएँ जो अपनी बारियाँ क्रम से एक सूची attribute turns में रखे (हर एक {"role", "content"} dict; Conversation(system=...) system संदेश को पहली बारी के रूप में रखता है): add(role, content) एक बारी जोड़ता है, और trimmed_context(max_tokens) system संदेश(ओं) के साथ सबसे नई लगातार बारियाँ रखता है जो chars/4 token बजट में आएँ, समय के क्रम में लौटाते हुए। सबसे नई बारी से पीछे चलें और पहली न आने वाली पर रुक जाएँ: कभी एक बारी छोड़कर पुरानी न रखें, क्योंकि बीच में छेद वाली बातचीत (सवाल के बिना जवाब) मॉडल को उलझाती है। छोटा इतिहास पूरा रखा जाता है; तंग बजट सबसे पुरानी हटाता है पर system संदेश और सबसे नई बारी रखता है (अगर सबसे नई बारी भी न आए, तो सिर्फ़ system संदेश बचता है); क्रम समय वाला रहता है; token अनुमान सही है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।