पाठ्यक्रम 250 में से पाठ 188 · Production पैटर्न: retries, async, streaming और memory
Production पैटर्न: retries, async, streaming और memory

Streaming tokens जोड़ना

आधुनिक मॉडल अपना जवाब stream करते हैं: एक बड़े response के बजाय runtime आपको बनते हुए छोटे token chunks की श्रृंखला देता है। इसी वजह से chat UIs टेक्स्ट को शब्द दर शब्द आते दिखाते हैं। पाने वाली तरफ़ आपका काम उन chunks को पूरे जवाब में जोड़ना है, हर एक के आते ही उसके साथ कुछ करना (UI अपडेट करना, tokens गिनना, रुकने पर नज़र रखना), और जानना कि कब रुकना है।

दो चीज़ें streaming को सादे join से ज़्यादा बनाती हैं। पहली, आप आमतौर पर एक callback देते हैं जो हर chunk पर चलता है -> चलती टाइपिंग का असर ऐसे ही काम करता है। दूसरी, अक्सर आपके पास एक stop sequence होता है: एक निशान जिसका मतलब है "असली जवाब यहाँ ख़त्म होता है, बाक़ी छोड़ दो"। इसे देखते ही आप तुरंत रुकते हैं और stop टेक्स्ट को आउटपुट में शामिल नहीं करते।

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

एक असली engine ये chunks network stream से देता है; एक on-device WebLLM engine इन्हें engine.chat.completions.create({ stream: true }) से देता है। यहाँ chunks बस एक सूची हैं जो आपको दी गई है, इसलिए तर्क निश्चित है और आप ठीक-ठीक जोड़ को ग्रेड कर सकते हैं। जोड़ना, हर chunk वाला callback, और stop सँभालना ठीक वैसे ही हैं जैसे भेजे जाते हैं।

consume_stream(chunks, on_token, stop=None) बनाएँ। chunks पर चलें, हर एक को चलती स्ट्रिंग में जोड़ते हुए और उसके लिए on_token(chunk) बुलाते हुए। अगर stop दिया गया है और कोई chunk उसके बराबर है, तो उसे जोड़ने से पहले रुकें (stop टेक्स्ट बाहर रहता है) और याद रखें कि आप रुके। {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} लौटाएँ। कोई stop sequence न होने पर हर chunk इस्तेमाल होता है।

आपकी बारी

consume_stream(chunks, on_token, stop=None) लिखें जो stream हुए token chunks को पूरे टेक्स्ट में जोड़े, हर इस्तेमाल हुए chunk पर on_token(chunk) बुलाए, मौजूद हो तो stop sequence पर रुके (stop टेक्स्ट ख़ुद छोड़कर), और {"text", "n_tokens", "stopped"} लौटाए। जोड़ा टेक्स्ट stop तक के chunks के "".join के बराबर है; stop बाहर रहता है; n_tokens इस्तेमाल हुए chunks गिनता है; बिना stop के सारे chunks इस्तेमाल होते हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।