Một bộ kiểm duyệt độc hại có vùng từ chối
Màn lọc từ khóa bắt được các cuộc tấn công lộ liễu, nhưng chúng không đọc được giọng điệu. Với câu "tin nhắn này có độc hại không?" bạn cần một bộ phân loại đã huấn luyện học các khuôn mẫu từ những ví dụ có nhãn. Đây chính là điều một endpoint kiểm duyệt nội dung làm bên dưới, và bạn có thể xây một cái khá đàng hoàng trong chục dòng với scikit-learn. Không GPU, không đám mây, không LLM.
Công thức là pipeline phân loại văn bản chủ lực:
- TfidfVectorizer biến mỗi tin nhắn thành một vector mức độ quan trọng của từ. Các từ phổ biến ở mọi tin nhắn bị giảm trọng số; các từ đặc trưng cho một tin nhắn được tăng trọng số. Đó là ý tưởng "TF-IDF".
- LogisticRegression học một trọng số cho mỗi từ và đưa ra xác suất tin nhắn là độc hại. Ta cố định
random_state=0để việc fit tái lập được.
Điểm xoắn làm nó có dáng dấp sản phẩm thật là một vùng từ chối (abstain band). Một bộ phân loại thô luôn chốt một nhãn, kể cả khi nó chỉ chắc 51%. Trong kiểm duyệt điều đó là liều lĩnh: một trường hợp sát biên nên tới tay con người, không nên được quyết định tự động. Vì vậy thay vì lấy predict cứng của mô hình, bạn đọc xác suất của nó và áp dụng quy tắc hai phía của riêng bạn:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanBạn sẽ huấn luyện trên một tập nhỏ có nhãn, rồi phân loại một lô chưa thấy thành "toxic", "clean", hoặc "abstain" dùng một biên dưới và một biên trên. Các tin nhắn rõ ràng thô lỗ phải trả về toxic, các tin nhắn rõ ràng thân thiện là clean, và bất cứ thứ gì mô hình không chắc nên rơi vào abstain thay vì đoán. Một tập huấn luyện nhỏ giữ các xác suất tụm quanh khoảng giữa, nên một vùng hẹp như (0.45, 0.55) mới là thứ thật sự tách các lớp ở đây.
Vì sao dùng một bộ phân loại chứ không phải chính LLM
Có các mô hình kiểm duyệt được lưu trữ sẵn (endpoint moderation của OpenAI, Perspective API, v.v.), và trong môi trường thật bạn thường sẽ gọi một trong số đó. Ta xây một cái cục bộ ở đây vì ba lý do: nó chạy ngoại tuyến trong sandbox này, nó không tốn gì cho mỗi lệnh gọi, và nó làm lộ rõ các bộ phận chuyển động: đặc trưng, một trọng số học được cho mỗi từ, một xác suất, và một ngưỡng do con người đặt. Những khái niệm đó chuyển thẳng sang bất kỳ dịch vụ kiểm duyệt nào bạn cắm vào sau này.
Xây train_moderator(texts, labels) fit một Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) và trả nó về. Sau đó viết classify(model, texts, low, high) đọc predict_proba cho lớp toxic và trả về một list gồm "toxic" (proba >= high), "clean" (proba <= low), hoặc "abstain" (ở giữa). Cuối cùng gán preds = classify(model, HELD_OUT, 0.45, 0.55).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.