Ngưỡng độ tin cậy và từ chối trả lời
Một bộ phân loại luôn trả về một câu trả lời, kể cả khi nó chẳng biết gì. Softmax phải có tổng bằng 1, nên một mô hình thật sự bối rối vẫn đưa bạn một nhãn đứng đầu -> chỉ là với một xác suất thấp phía sau. Trong môi trường thật điều đó nguy hiểm: lặng lẽ định tuyến sai một khách hàng còn tệ hơn thừa nhận là bạn không chắc.
Cách sửa là một ngưỡng độ tin cậy kèm một lựa chọn từ chối trả lời (abstain). Bạn nhìn vào xác suất của nhãn đứng đầu; nếu nó vượt qua ngưỡng bạn hành động theo nó, và nếu không bạn trả về một kết luận đặc biệt "abstain" chuyển yêu cầu cho một con người (hoặc nâng lên một mô hình đắt hơn). Đây là cổng chuyển giao cho con người mà mọi hệ thống LLM nghiêm túc đều có.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"Ngưỡng là một nút vặn bạn chỉnh từ dữ liệu: tăng nó lên và bạn từ chối thường xuyên hơn (an toàn hơn, nhiều việc cho con người hơn); giảm nó xuống và bạn hành động thường xuyên hơn (rẻ hơn, rủi ro hơn). Chính ranh giới cũng quan trọng -> quyết định xem một xác suất đúng bằng ngưỡng có được tính là tự tin không. Ở đây ta dùng >= threshold nghĩa là tự tin (giá trị biên được qua).
Xác suất đến từ đâu? Thường là model.predict_proba(...) từ bộ phân loại bạn xây trước đó, hoặc các điểm cosine của từng nguyên mẫu được chuẩn hóa thành một phân phối. Dù cách nào, logic canh cổng vẫn là cùng một hàm nhỏ, và nó thuần túy và có tính quyết định -> đúng kiểu hàng rào bảo vệ mà bạn có thể kiểm thử đơn vị.
Xây một hàm. classify_with_threshold(probs, labels, threshold): tìm nhãn có xác suất cao nhất; nếu xác suất đó là >= threshold thì trả về nhãn, nếu không thì trả về chuỗi "abstain". probs và labels là các list song song. Bấm Chạy để xem một trường hợp tự tin đi qua và một trường hợp không chắc bị từ chối.
Viết classify_with_threshold(probs, labels, threshold) trong đó probs và labels là các list song song. Trả về nhãn có xác suất cao nhất, nhưng chỉ khi xác suất đó là >= threshold; nếu không thì trả về chuỗi "abstain". Coi một xác suất đúng bằng ngưỡng là tự tin.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.