लागत समझने वाला cascade
यह पूरे मॉड्यूल का निचोड़ है। एक production LLM कॉल धीमा है और असली पैसे लेता है; एक fit हुआ classifier लगभग कुछ नहीं लेता। इसलिए आप cascade करते हैं: सस्ते मॉडल को traffic का पक्का बहुमत सँभालने दें, और सिर्फ़ अनिश्चित हिस्से को महँगे LLM तक बढ़ाएँ। सही ढंग से करें तो आप बिल के एक हिस्से में वही गुणवत्ता देते हैं।
फ़ैसला वही thresholding है जो आप पहले बना चुके हैं: हर अनुरोध के लिए आपके पास सस्ते classifier की प्रायिकता वाली पंक्ति है। अगर उसकी top प्रायिकता एक confidence सीमा पार करती है, तो सस्ते में जवाब दें; नहीं तो आगे बढ़ाएँ। आपका बॉस जो engineering सवाल असल में पूछता है वह है इससे कितनी बचत होती है?, इसलिए आप escalations और लागत भी गिनते हैं।
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMcascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) बनाएँ। हर प्रायिकता पंक्ति के लिए, अगर max(row) >= threshold है तो वह सस्ते में सँभाली जाती है (लागत cheap_cost); नहीं तो आगे बढ़ाई जाती है (लागत llm_cost)। {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} लौटाएँ जहाँ all_llm_cost वह है जो हर अनुरोध LLM को भेजने पर लगता, और saved = all_llm_cost - total_cost। ख़ाली इनपुट कुछ आगे नहीं बढ़ाता और कुछ ख़र्च नहीं करता। traffic के एक batch की क़ीमत लगाने के लिए Run दबाएँ।
cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) लिखें। हर पंक्ति के लिए, अगर max(row) >= threshold है तो वह सस्ते में सँभाली जाती है (लागत cheap_cost), नहीं तो आगे बढ़ाई जाती है (लागत llm_cost)। {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} लौटाएँ: escalated आगे बढ़ाई गईं की गिनती है, escalation_rate है escalated/len (ख़ाली के लिए 0.0), total_cost हर अनुरोध की लागत का योग है, all_llm_cost = len(prob_rows) * llm_cost, और saved = all_llm_cost - total_cost।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।