Thác xử lý có tính chi phí
Đây là điểm mấu chốt của cả mô-đun. Một lệnh gọi LLM thật chậm và tốn tiền thật; một bộ phân loại đã fit gần như không tốn gì. Nên bạn làm thác (cascade): để mô hình rẻ xử lý phần lớn lưu lượng tự tin, và chỉ nâng phần đuôi không chắc chắn lên LLM đắt tiền. Làm đúng, bạn phục vụ cùng chất lượng với một phần nhỏ hóa đơn.
Quyết định chính là phép đặt ngưỡng bạn đã xây: với mỗi yêu cầu bạn có hàng xác suất của bộ phân loại rẻ. Nếu xác suất cao nhất của nó vượt qua một ngưỡng độ tin cậy, trả lời rẻ; nếu không thì nâng lên. Câu hỏi kỹ thuật mà sếp bạn thật sự hỏi là cái này tiết kiệm được bao nhiêu?, nên bạn cũng đếm số lần nâng lên và chi phí.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMXây cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Với mỗi hàng xác suất, nếu max(row) >= threshold thì nó được xử lý rẻ (tốn cheap_cost); nếu không nó được nâng lên (tốn llm_cost). Trả về {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} trong đó all_llm_cost là chi phí nếu gửi mọi yêu cầu tới LLM, và saved = all_llm_cost - total_cost. Một đầu vào rỗng không nâng gì và không tốn gì. Bấm Chạy để tính giá một lô lưu lượng.
Viết cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Với mỗi hàng, nếu max(row) >= threshold thì nó được xử lý rẻ (chi phí cheap_cost), nếu không thì nâng lên (chi phí llm_cost). Trả về {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated là số lần nâng lên, escalation_rate là escalated/len (0.0 khi rỗng), total_cost là tổng chi phí từng yêu cầu, all_llm_cost = len(prob_rows) * llm_cost, và saved = all_llm_cost - total_cost.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.