पाठ्यक्रम 250 में से पाठ 199 · LLM के चारों ओर का ML
LLM के चारों ओर का ML

लागत समझने वाला cascade

यह पूरे मॉड्यूल का निचोड़ है। एक production LLM कॉल धीमा है और असली पैसे लेता है; एक fit हुआ classifier लगभग कुछ नहीं लेता। इसलिए आप cascade करते हैं: सस्ते मॉडल को traffic का पक्का बहुमत सँभालने दें, और सिर्फ़ अनिश्चित हिस्से को महँगे LLM तक बढ़ाएँ। सही ढंग से करें तो आप बिल के एक हिस्से में वही गुणवत्ता देते हैं।

फ़ैसला वही thresholding है जो आप पहले बना चुके हैं: हर अनुरोध के लिए आपके पास सस्ते classifier की प्रायिकता वाली पंक्ति है। अगर उसकी top प्रायिकता एक confidence सीमा पार करती है, तो सस्ते में जवाब दें; नहीं तो आगे बढ़ाएँ। आपका बॉस जो engineering सवाल असल में पूछता है वह है इससे कितनी बचत होती है?, इसलिए आप escalations और लागत भी गिनते हैं।

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) बनाएँ। हर प्रायिकता पंक्ति के लिए, अगर max(row) >= threshold है तो वह सस्ते में सँभाली जाती है (लागत cheap_cost); नहीं तो आगे बढ़ाई जाती है (लागत llm_cost)। {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} लौटाएँ जहाँ all_llm_cost वह है जो हर अनुरोध LLM को भेजने पर लगता, और saved = all_llm_cost - total_cost। ख़ाली इनपुट कुछ आगे नहीं बढ़ाता और कुछ ख़र्च नहीं करता। traffic के एक batch की क़ीमत लगाने के लिए Run दबाएँ।

आपकी बारी

cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) लिखें। हर पंक्ति के लिए, अगर max(row) >= threshold है तो वह सस्ते में सँभाली जाती है (लागत cheap_cost), नहीं तो आगे बढ़ाई जाती है (लागत llm_cost)। {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} लौटाएँ: escalated आगे बढ़ाई गईं की गिनती है, escalation_rate है escalated/len (ख़ाली के लिए 0.0), total_cost हर अनुरोध की लागत का योग है, all_llm_cost = len(prob_rows) * llm_cost, और saved = all_llm_cost - total_cost।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।