पाठ्यक्रम 250 में से पाठ 183 · LLMs को production तक ले जाना: लागत, caching और guardrails
LLMs को production तक ले जाना: लागत, caching और guardrails

आउटपुट पहरेदार और trace जोड़ना

मॉडल का जवाब तब तक भरोसा न करने लायक है जब तक आप उसे जाँच न लें। दो आउटपुट पहरेदार ज़्यादातर ज़रूरतें ढकते हैं। एक allow-list पहरेदार ज़ोर देता है कि आउटपुट जाने-पहचाने set में से ठीक एक हो, और इसी तरह आप एक classifier को भरोसेमंद बनाते हैं: अगर मॉडल को positive, negative, या neutral जवाब देना है, तो बाक़ी कुछ भी अस्वीकार होता है। एक deny-list पहरेदार किसी प्रतिबंधित शब्द (एक लीक हुआ secret, एक गाली, किसी प्रतियोगी का नाम) वाले किसी भी आउटपुट को चिह्नित करता है, आसपास का टेक्स्ट कुछ भी हो।

production सिस्टम को traceability भी चाहिए: हर कॉल उसके input, output, token गिनती, देरी, और लागत के साथ दर्ज हो, ताकि आप बाद में "इसकी लागत क्या थी और यह कितना धीमा था?" का जवाब दे सकें। आप उन records को एक सार में जोड़ते हैं: कुल लागत, और देरी के percentiles। p95 देरी (वह मान जिसके नीचे 95% calls आईं) वह संख्या है जिस पर on-call engineers असल में नज़र रखते हैं, क्योंकि औसत धीमी पूँछ को छिपा देते हैं।

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

चार फ़ंक्शन बनाएँ। (1) validate_output(text, allowed_labels) -> True सिर्फ़ तब जब text.strip() allowed_labels में हो। (2) contains_banned(text, banned) -> True अगर कोई प्रतिबंधित शब्द text में छोटे-बड़े अक्षर से स्वतंत्र रूप में आता है। (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> ठीक उन पाँच कुंजियों वाली dict। (4) aggregate_traces(traces) -> trace dicts से एक pandas.DataFrame बनाएँ और n, total_cost (6 दशमलव तक गोल), p50_latency, और numpy.percentile से निकाले p95_latency वाली dict लौटाएँ।

आपकी बारी

validate_output(text, allowed_labels) (True सिर्फ़ तब जब text.strip() एक अनुमत label हो), contains_banned(text, banned) (True जब कोई प्रतिबंधित शब्द आए, छोटे-बड़े अक्षर से स्वतंत्र), build_trace(input_text, output_text, tokens, latency_ms, cost) (उन पाँच कुंजियों वाली dict), और aggregate_traces(traces) (numpy.percentile से {n, total_cost (round 6dp), p50_latency, p95_latency} में सार किया pandas DataFrame) बनाएँ। अनुमत label को पास होना होगा जबकि अनुमत न होने वाला रुके, और दो अलग प्रतिबंधित सूचियों को अलग फ़ैसले देने होंगे।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।