Chương trình học Bài 225 trên tổng số 250 · Dự án: Production AI Gateway
Dự án: Production AI Gateway

Bộ phân loại ý định với khả năng từ chối

Chào mừng bạn đến với dự án cuối khóa. Qua bốn bài học, bạn sẽ xây dựng lớp trung gian giữa người dùng và mô hình: một AI gateway giúp phân loại yêu cầu, điều hướng đến handler phù hợp, lưu bộ nhớ đệm, ngăn chặn lạm dụng và tính toán chi phí. Đây là hạ tầng thầm lặng biến một bản demo thông minh thành thứ mà công ty có thể vận hành thực tế, và đó chính là ý nghĩa của dòng chữ trên CV: "built an AI gateway: classify, route, cache, guardrail, cost-account."

Một lưu ý trung thực về phạm vi: bạn đang xây dựng logic của lớp ứng dụng cho một gateway (classify, route, semantic-cache, guardrail, cost-account). Một gateway mà bạn thực sự chạy trong sản xuất cũng cần một dịch vụ đang chạy để lưu trữ nó, authentication, real distributed rate-limiting, và một deployment, những thứ này nằm ngoài phạm vi của bài tập capstone trên trình duyệt này.

Điểm dừng đầu tiên: cửa trước. Mọi yêu cầu gửi đến là một khối văn bản, và trước khi bạn có thể làm điều gì thông minh với nó, bạn cần biết nó là gì. Đây là câu hỏi về thời tiết? Một vấn đề về tài khoản? Hay một lời phàn nàn về hóa đơn? Bạn sẽ xây dựng một intent classifier học từ một vài ví dụ có nhãn và gắn thẻ cho mỗi yêu cầu mới. Điểm khác biệt giữa một món đồ chơi và một classifier thực thụ là nó phải biết khi nào nó không biết. Một model tự tin gắn nhãn cho những nội dung vô nghĩa sẽ tệ hơn là vô dụng ở các bước sau, vì vậy của bạn sẽ abstain và trả về "unknown" khi nó không chắc chắn.

Bạn sẽ viết hai hàm:

  • train_intent(texts, labels) -> khớp một TfidfVectorizer để chuyển các văn bản thành các vector, sau đó là một LogisticRegression(random_state=0) ở trên. Trả về bất kỳ gói nào (một dict là được) mà classify cần để đưa ra dự đoán. Gieo hạt cho mô hình để mọi người đều nhận được kết quả giống nhau.
  • classify(model, text) -> trả về một tuple (label, confidence). Lấy xác suất của các lớp với predict_proba, chọn cái cao nhất, và nếu độ tin cậy của nó thấp hơn một ngưỡng (khoảng 0.5), hãy trả về ("unknown", confidence) thay thế.

Mẹo để bắt được đầu vào thực sự nằm ngoài phân phối rất rẻ và mạnh mẽ. Khi TfidfVectorizer.transformthấy văn bản với không từ vựng huấn luyện nào, hàng kết quả sẽ toàn là số không (.nnz của nó là 0). Đó là tín hiệu cho thấy mô hình không có gì để dựa vào, vì vậy hãy dừng lại ngay lập tức:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

Một lưu ý thực tế về mô hình: trên các tập huấn luyện nhỏ, việc điều chỉnh mặc định làm mọi xác suất lơ lửng gần mức ngẫu nhiên, nên các câu hỏi hợp lệ không bao giờ vượt qua ngưỡng. Nới lỏng regularization với C=10.0 (và tăng max_iter để nó hội tụ) làm sắc nét mô hình đủ để các câu paraphrase thực sự đạt điểm tin cậy trong khi rác vẫn bị loại bỏ. Nhấn Run để huấn luyện trên một vài câu hỏi hỗ trợ có nhãn và xem các câu paraphrase được phân loại trong khi nội dung vô nghĩa lùi bước.

Đến lượt bạn

Viết train_intent(texts, labels) bằng cách dùng TfidfVectorizer + LogisticRegression(random_state=0) (nới lỏng với C=10.0 và tăng max_iter để dữ liệu nhỏ hội tụ), trả về bất kỳ gói nào mà classify cần. Sau đó viết classify(model, text) trả về (label, confidence): lấy lớp predict_proba trên cùng, bỏ qua ("unknown", conf) dưới ngưỡng ~0.5, và bỏ qua ngay lập tức khi hàng đã biến đổi toàn là số không (X.nnz == 0) để dữ liệu ngoài phân phối hoặc đầu vào trống không bị dán nhãn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.