Chương trình học Bài 196 trên tổng số 250 · Học máy bao quanh LLM
Học máy bao quanh LLM

Phân loại ý định (TF-IDF + LogisticRegression)

Không phải mọi "tính năng AI" đều cần một mô hình ngôn ngữ lớn. Một tỷ lệ rất lớn các ứng dụng LLM thật đặt một bộ phân loại nhỏ, nhàm chán trước mô hình: nó đọc tin nhắn đến, quyết định đó là loại yêu cầu gì (thanh toán? báo lỗi? thay đổi tài khoản?), và định tuyến tương ứng. Quyết định đó nhanh, miễn phí, chạy ngoại tuyến, và có tính quyết định -> cùng đầu vào luôn cho cùng câu trả lời. Bạn chỉ tốn một lệnh gọi LLM đắt đỏ khi thật sự cần.

Công cụ chủ lực cho văn bản ngắn là TfidfVectorizer + LogisticRegression. TF-IDF biến mỗi tin nhắn thành một vector thưa gồm số đếm từ có trọng số; hồi quy logistic học một ranh giới tuyến tính giữa các lớp ý định. Trên vài chục ví dụ có nhãn nó huấn luyện trong vài mili giây và phân loại trong vài micro giây.

Bạn sẽ nối hai thứ thành một đối tượng bằng một Pipeline để bộ vector hóa và bộ phân loại được fit và áp dụng cùng nhau như một khối:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

Vì sao random_state=0? Một thói quen đáng có. Bộ giải mặc định ở đây (lbfgs) có tính quyết định, nên pipeline này cho cùng trọng số dù có hay không có seed. Nhưng các bộ giải khác (saga, liblinear) xáo trộn dữ liệu, và nhiều mô hình scikit-learn (random forest, k-means, chia train/test) ngẫu nhiên theo thiết kế; ở đó seed là thứ làm cho việc huấn luyện tái lập được. Viết nó ở mọi nơi nghĩa là một lần đổi bộ giải hay mô hình sau này không thể lặng lẽ làm việc định tuyến của bạn lật qua lật lại giữa các lần chạy. Khóa học tuân theo quy tắc này ở mọi nơi.

Đây chính là điểm tương phản với LLM. Một lệnh gọi mô hình không có tính quyết định, tốn tiền, và thêm độ trễ. Đây là kiểu phương án dự phòng bạn có thể nối ở phía sau một khi đã biết ý định (chỉ để minh họa, không bao giờ được chấm):

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

Xây hai hàm. train_classifier(texts, labels) trả về một Pipeline đã fit (TF-IDF + LogisticRegression với random_state=0). predict(model, new_texts) nhận mô hình đó và một list các chuỗi rồi trả về một list các nhãn dự đoán. Bấm Chạy để huấn luyện trên một tập phiếu hỗ trợ nhỏ và xem nó định tuyến các tin nhắn chưa thấy tới đúng nhóm.

Đến lượt bạn

Viết train_classifier(texts, labels) trả về một Pipeline sklearn đã fit gồm TfidfVectorizer() rồi LogisticRegression(random_state=0, ...), và predict(model, new_texts) trả về một list các nhãn dự đoán cho một list chuỗi đầu vào. Seed làm nó tái lập được; bộ phân loại phải gửi các tin nhắn khác nhau chưa thấy tới đúng ý định của chúng. Giữ nguyên TEXTS và LABELS của mã khởi đầu: phần kiểm tra đọc chúng.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.