Silabus Pelajaran 199 dari 250 · ML di Sekitar LLM
ML di Sekitar LLM

Cascade Sadar Biaya

Ini adalah inti dari seluruh modul ini. Pemanggilan LLM produksi itu lambat dan memakan biaya nyata; pengklasifikasi yang sudah dilatih hampir tidak memakan biaya. Jadi kamu cascade: biarkan model murah menangani mayoritas trafik yang pasti, dan teruskan hanya bagian yang tidak pasti ke LLM yang mahal. Jika dilakukan dengan benar, kamu memberikan kualitas yang sama dengan biaya yang jauh lebih murah.

Keputusannya adalah thresholding yang sudah kamu buat: untuk setiap request kamu punya baris probabilitas dari classifier yang murah. Jika probabilitas tertingginya melewati confidence threshold, jawab dengan murah; jika tidak, lakukan eskalasi. Pertanyaan engineering yang sebenarnya ditanyakan bosmu adalah berapa banyak penghematannya?, jadi kamu juga menghitung jumlah eskalasi dan biayanya.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Bangun cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Untuk setiap baris probabilitas, jika max(row) >= threshold maka ditangani dengan murah (biayanya cheap_cost); jika tidak, maka ditingkatkan (biayanya llm_cost). Kembalikan {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} di mana all_llm_cost adalah biaya jika setiap permintaan dikirim ke LLM, dan saved = all_llm_cost - total_cost. Input kosong tidak meningkatkan apa pun dan tidak memakan biaya. Tekan Run untuk menghitung harga satu batch trafik.

Giliranku

Tulis cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Untuk setiap baris, jika max(row) >= threshold maka ditangani murah (biaya cheap_cost), jika tidak maka dieskalasi (biaya llm_cost). Kembalikan {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated adalah jumlah yang dieskalasi, escalation_rate adalah escalated/len (0.0 untuk kosong), total_cost adalah total biaya per permintaan, all_llm_cost = len(prob_rows) * llm_cost, dan saved = all_llm_cost - total_cost.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.