Maliyet Duyarlı Kaskad
Bu, tüm modülün can alıcı noktası. Bir üretim LLM çağrısı yavaştır ve gerçek para maliyeti oluşturur; eğitilmiş bir classifier ise neredeyse hiç maliyet çıkarmaz. Bu yüzden sen cascadeyapıyorsun: ucuz modelin trafiğin büyük çoğunluğunu güvenle yönetmesine izin ver ve sadece belirsiz kısmı pahalı LLM modeline aktar. Doğru yapıldığında, faturanın çok küçük bir kısmıyla aynı kaliteyi sunarsın.
Karar, zaten kurduğun eşikleme işlemidir: her istek için ucuz sınıflandırıcının olasılık satırı elinde bulunur. Eğer en yüksek olasılığı bir confidence threshold aşarsa, ucuz şekilde cevap ver; aksi takdirde üst birime aktar. Patronunun aslında sorduğu mühendislik sorusu bu ne kadar tasarruf sağlar?, bu yüzden aktarımları ve maliyeti de saymalısın.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLM cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) oluştur. Her olasılık satırı için, eğer max(row) >= threshold ise ucuz şekilde işlenir (maliyeti cheap_cost olur); aksi takdirde yükseltilir (maliyeti llm_cost olur). all_llm_cost her isteği LLM'e göndermenin maliyeti ve saved = all_llm_cost - total_cost olan {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} değerini döndür. Boş bir girdi hiçbir şeyi yükseltmez ve maliyeti yoktur. Bir trafik grubunu fiyatlandırmak için Run tuşuna bas.
cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25) yaz. Her satır için, eğer max(row) >= threshold ise ucuz şekilde işlenir (maliyet cheap_cost), aksi takdirde yükseltilir (maliyet llm_cost). {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} döndür: escalated yükseltilenlerin sayısıdır, escalation_rate yükseltilen/len (boş için 0.0), total_cost istek başına toplam maliyettir, all_llm_cost = len(prob_rows) * llm_cost ve saved = all_llm_cost - total_cost.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.