Müfredat 250 dersinden 192. · Sorumlu Yapay Zeka: Güvenlik, Moderasyon ve Red-Teaming
Sorumlu Yapay Zeka: Güvenlik, Moderasyon ve Red-Teaming

Bir Abstain Band'lı Toksisite Moderatörü

Keyword ekranları bariz saldırıları yakalar ama tonu okuyamazlar. "Bu mesaj toksik mi?" sorusu için etiketlenmiş örneklerden kalıpları öğrenmiş bir eğitilmiş sınıflandırıcı istiyorsun. Bu tam olarak bir içerik denetleme uç noktasının arka planda yaptığı şeydir ve scikit-learn ile bir düzine satırda düzgün bir tane oluşturabilirsin. GPU yok, bulut yok, LLM yok.

Tarif, iş yükünü çeken metin sınıflandırma hattıdır:

  • TfidfVectorizer her mesajı kelime önemlerine göre bir vektöre dönüştürür. Tüm mesajlarda ortak olan kelimelerin ağırlığı düşürülür; bir mesaja özgü olan kelimelerin ağırlığı artırılır. Bu "TF-IDF" fikridir.
  • LogisticRegression her kelime için bir ağırlık öğrenir ve mesajın toksik olma olasılığını çıktı olarak verir. Sonucun tekrarlanabilir olması için random_state=0 sabitliyoruz.

Bunu üretim seviyesine çıkaran şey bir abstain band. Ham bir sınıflandırıcı, %51 emin olsa bile her zaman bir etikete bağlanır. Bu durumun ölçülü hali tehlikelidir: sınırda kalan bir karar bir insana gitmeli, otomatik olarak karar verilmemelidir. Bu yüzden modelin kesin predict yerine, olasılığını okur ve kendi iki taraflı kuralını uygularsın:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Küçük etiketli bir küme üzerinde eğitim yapacaksın, sonra ayrılmış bir grubu düşük kenar ve yüksek kenar kullanarak "toxic", "clean" veya "abstain" olarak sınıflandıracaksın. Açıkça kaba mesajlar toxic olarak, açıkça dostça olanlar clean olarak dönmeli ve modelin emin olmadığı her şey tahmin yapmak yerine abstain kısmına düşmeli. Küçük bir eğitim kümesi olasılıkları orta bölgede toplu tutar, bu yüzden sınıfları burada asıl ayıran şey (0.45, 0.55) gibi dar bir banttır.

Neden LLM'in kendisi değil de bir sınıflandırıcı

Barındırılan moderasyon modelleri mevcut (OpenAI'nin moderasyon uç noktası, Perspective API ve benzerleri) ve üretim aşamasında genellikle bunlardan birini çağırırsın. Burada üç nedenden dolayı yerel bir tane oluşturuyoruz: bu sandbox içinde çevrimdışı çalışır, çağrı başına maliyeti yoktur ve hareketli parçaları görünür kılar, özellikler, kelime başına öğrenilmiş bir ağırlık, bir olasılık ve insan tarafından belirlenmiş bir eşik değeri. Bu kavramlar daha sonra bağlayacağın herhangi bir moderasyon hizmetine doğrudan aktarılır.

Senin sıran

Pipeline(TfidfVectorizer, LogisticRegression(random_state=0))'ye uyan ve onu döndüren train_moderator(texts, labels) oluştur. Sonra toksik sınıf için predict_proba'yi okuyan ve bir "toxic" (proba >= high), "clean" (proba <= low) veya "abstain" (arasında) listesi döndüren classify(model, texts, low, high) yaz. Son olarak preds = classify(model, HELD_OUT, 0.45, 0.55)'yi ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.