Moderator Toksisitas dengan Band Abstain
Keyword screens menangkap serangan yang jelas, tapi mereka tidak bisa membaca nada. Untuk "apakah pesan ini beracun?" kamu butuh trained classifier yang mempelajari pola dari contoh berlabel. Inilah yang dilakukan endpoint content-moderation di balik layar, dan kamu bisa membangun yang layak dalam belasan baris dengan scikit-learn. Tanpa GPU, tanpa cloud, tanpa LLM.
Resepnya adalah pipeline text-classification yang paling sering digunakan:
- TfidfVectorizer mengubah setiap pesan menjadi vektor kepentingan kata. Kata yang umum di semua pesan dikurangi bobotnya; kata yang khas untuk sebuah pesan ditambah bobotnya. Itulah ide "TF-IDF".
- LogisticRegression mempelajari bobot per kata dan mengeluarkan probabilitas bahwa pesan tersebut beracun. Kita menetapkan
random_state=0agar hasil fit bisa direproduksi.
Yang membuatnya siap untuk produksi adalah abstain band. Classifier mentah selalu berkomitmen pada sebuah label, bahkan saat ia hanya yakin 51%. Dalam moderasi itu berbahaya: keputusan yang meragukan harus diberikan ke manusia, bukan diputuskan otomatis. Jadi daripada mengambil predict keras dari model, kamu membaca probabilitasnya dan menerapkan aturan dua sisi milikmu sendiri:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanKamu akan berlatih pada set berlabel kecil, lalu mengklasifikasikan batch yang disimpan ke dalam "toxic", "clean", atau "abstain" menggunakan low edge dan high edge. Pesan yang jelas-jelas kasar harus kembali sebagai toxic, yang jelas-jelas ramah sebagai clean, dan apa pun yang tidak yakin model harus masuk ke abstain daripada menebak. Set pelatihan yang kecil menjaga probabilitas tetap berkumpul di tengah, jadi pita sempit seperti (0.45, 0.55) adalah apa yang benar-benar memisahkan kelas di sini.
Kenapa pakai classifier dan bukan LLM itu sendiri
Model moderasi yang sudah ada (endpoint moderasi OpenAI, Perspective API, dan lainnya), dan di produksi kamu akan sering memanggil salah satu dari itu. Kita membangun yang lokal di sini untuk tiga alasan: ini berjalan offline di sandbox ini, tidak ada biaya per panggilan, dan membuat bagian yang bergerak terlihat, fitur, bobot yang dipelajari per kata, probabilitas, dan ambang batas yang ditetapkan manusia. Konsep tersebut berpindah langsung ke layanan moderasi apa pun yang kamu pasang nanti.
Buat train_moderator(texts, labels) yang cocok dengan Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) dan kembalikan itu. Lalu tulis classify(model, texts, low, high) yang membaca predict_proba untuk kelas toxic dan kembalikan daftar "toxic" (proba >= high), "clean" (proba <= low), atau "abstain" (di antaranya). Terakhir atur preds = classify(model, HELD_OUT, 0.45, 0.55).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.