आउटपुट पहरेदार और trace जोड़ना
मॉडल का जवाब तब तक भरोसा न करने लायक है जब तक आप उसे जाँच न लें। दो आउटपुट पहरेदार ज़्यादातर ज़रूरतें ढकते हैं। एक allow-list पहरेदार ज़ोर देता है कि आउटपुट जाने-पहचाने set में से ठीक एक हो, और इसी तरह आप एक classifier को भरोसेमंद बनाते हैं: अगर मॉडल को positive, negative, या neutral जवाब देना है, तो बाक़ी कुछ भी अस्वीकार होता है। एक deny-list पहरेदार किसी प्रतिबंधित शब्द (एक लीक हुआ secret, एक गाली, किसी प्रतियोगी का नाम) वाले किसी भी आउटपुट को चिह्नित करता है, आसपास का टेक्स्ट कुछ भी हो।
production सिस्टम को traceability भी चाहिए: हर कॉल उसके input, output, token गिनती, देरी, और लागत के साथ दर्ज हो, ताकि आप बाद में "इसकी लागत क्या थी और यह कितना धीमा था?" का जवाब दे सकें। आप उन records को एक सार में जोड़ते हैं: कुल लागत, और देरी के percentiles। p95 देरी (वह मान जिसके नीचे 95% calls आईं) वह संख्या है जिस पर on-call engineers असल में नज़र रखते हैं, क्योंकि औसत धीमी पूँछ को छिपा देते हैं।
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanचार फ़ंक्शन बनाएँ। (1) validate_output(text, allowed_labels) -> True सिर्फ़ तब जब text.strip() allowed_labels में हो। (2) contains_banned(text, banned) -> True अगर कोई प्रतिबंधित शब्द text में छोटे-बड़े अक्षर से स्वतंत्र रूप में आता है। (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> ठीक उन पाँच कुंजियों वाली dict। (4) aggregate_traces(traces) -> trace dicts से एक pandas.DataFrame बनाएँ और n, total_cost (6 दशमलव तक गोल), p50_latency, और numpy.percentile से निकाले p95_latency वाली dict लौटाएँ।
validate_output(text, allowed_labels) (True सिर्फ़ तब जब text.strip() एक अनुमत label हो), contains_banned(text, banned) (True जब कोई प्रतिबंधित शब्द आए, छोटे-बड़े अक्षर से स्वतंत्र), build_trace(input_text, output_text, tokens, latency_ms, cost) (उन पाँच कुंजियों वाली dict), और aggregate_traces(traces) (numpy.percentile से {n, total_cost (round 6dp), p50_latency, p95_latency} में सार किया pandas DataFrame) बनाएँ। अनुमत label को पास होना होगा जबकि अनुमत न होने वाला रुके, और दो अलग प्रतिबंधित सूचियों को अलग फ़ैसले देने होंगे।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।