Silabus Pelajaran 192 dari 250 · AI yang Bertanggung Jawab: Keamanan, Moderasi & Red-Teaming
AI yang Bertanggung Jawab: Keamanan, Moderasi & Red-Teaming

Moderator Toksisitas dengan Band Abstain

Keyword screens menangkap serangan yang jelas, tapi mereka tidak bisa membaca nada. Untuk "apakah pesan ini beracun?" kamu butuh trained classifier yang mempelajari pola dari contoh berlabel. Inilah yang dilakukan endpoint content-moderation di balik layar, dan kamu bisa membangun yang layak dalam belasan baris dengan scikit-learn. Tanpa GPU, tanpa cloud, tanpa LLM.

Resepnya adalah pipeline text-classification yang paling sering digunakan:

  • TfidfVectorizer mengubah setiap pesan menjadi vektor kepentingan kata. Kata yang umum di semua pesan dikurangi bobotnya; kata yang khas untuk sebuah pesan ditambah bobotnya. Itulah ide "TF-IDF".
  • LogisticRegression mempelajari bobot per kata dan mengeluarkan probabilitas bahwa pesan tersebut beracun. Kita menetapkan random_state=0 agar hasil fit bisa direproduksi.

Yang membuatnya siap untuk produksi adalah abstain band. Classifier mentah selalu berkomitmen pada sebuah label, bahkan saat ia hanya yakin 51%. Dalam moderasi itu berbahaya: keputusan yang meragukan harus diberikan ke manusia, bukan diputuskan otomatis. Jadi daripada mengambil predict keras dari model, kamu membaca probabilitasnya dan menerapkan aturan dua sisi milikmu sendiri:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Kamu akan berlatih pada set berlabel kecil, lalu mengklasifikasikan batch yang disimpan ke dalam "toxic", "clean", atau "abstain" menggunakan low edge dan high edge. Pesan yang jelas-jelas kasar harus kembali sebagai toxic, yang jelas-jelas ramah sebagai clean, dan apa pun yang tidak yakin model harus masuk ke abstain daripada menebak. Set pelatihan yang kecil menjaga probabilitas tetap berkumpul di tengah, jadi pita sempit seperti (0.45, 0.55) adalah apa yang benar-benar memisahkan kelas di sini.

Kenapa pakai classifier dan bukan LLM itu sendiri

Model moderasi yang sudah ada (endpoint moderasi OpenAI, Perspective API, dan lainnya), dan di produksi kamu akan sering memanggil salah satu dari itu. Kita membangun yang lokal di sini untuk tiga alasan: ini berjalan offline di sandbox ini, tidak ada biaya per panggilan, dan membuat bagian yang bergerak terlihat, fitur, bobot yang dipelajari per kata, probabilitas, dan ambang batas yang ditetapkan manusia. Konsep tersebut berpindah langsung ke layanan moderasi apa pun yang kamu pasang nanti.

Giliranku

Buat train_moderator(texts, labels) yang cocok dengan Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) dan kembalikan itu. Lalu tulis classify(model, texts, low, high) yang membaca predict_proba untuk kelas toxic dan kembalikan daftar "toxic" (proba >= high), "clean" (proba <= low), atau "abstain" (di antaranya). Terakhir atur preds = classify(model, HELD_OUT, 0.45, 0.55).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.