Модератор токсичности с диапазоном воздержания
Keyword screens ловят очевидные атаки, но они не могут понимать тон. Для вопроса "не токсично ли это сообщение?" вам нужен trained classifier, который выучил паттерны из размеченных примеров. Именно это делает endpoint модерации контента внутри, и вы можете собрать достойный вариант в двенадцать строк с помощью scikit-learn. Никаких GPU, никакого облака, никаких LLM.
Этот рецепт это основной пайплайн для text-classification:
- TfidfVectorizer превращает каждое сообщение в вектор важности слов. Общие слова во всех сообщениях получают меньший вес; слова, характерные для конкретного сообщения, получают больший вес. Это идея "TF-IDF".
- LogisticRegression учит вес для каждого слова и выдает вероятность того, что сообщение токсично. Мы фиксируем
random_state=0, чтобы результат был воспроизводимым.
То, что делает это пригодным для продакшена, это abstain band. Сырой classifier всегда выбирает label, даже если он уверен на 51%. В модерировании это безрассудно: пограничный случай должен идти к человеку, а не приниматься автоматически. Поэтому вместо того чтобы брать жесткий predict модели, вы читаете его probability и применяете свое собственное двухстороннее правило:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanВы обучитесь на небольшом размеченном наборе, а затем классифицируете отдельный пакет в "toxic", "clean" или "abstain", используя низкий порог и высокий порог. Явно грубые сообщения должны возвращаться как toxic, явно дружелюбные как clean, а все, в чем модель не уверена, должно попадать в abstain вместо того, чтобы гадать. Небольшой обучающий набор держит вероятности близко к середине, поэтому узкая полоса вроде (0.45, 0.55) - это то, что на самом деле разделяет классы здесь.
Почему классификатор, а не сама LLM
Существуют готовые модели модерации (endpoint модерации OpenAI, Perspective API и так далее), и в продакшене вы часто вызывали бы одну из них. Мы создаем локальную здесь по трем причинам: она работает офлайн в этом sandbox, она ничего не стоит за вызов, и она делает движущиеся части видимыми, функции, выученный вес каждого слова, вероятность и установленный человеком порог. Эти концепции напрямую переносятся на любой сервис модерации, который вы подключите позже.
Создайте train_moderator(texts, labels), который подходит к Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) и возвращает его. Затем напишите classify(model, texts, low, high), который читает predict_proba для токсичного класса и возвращает список "toxic" (proba >= high), "clean" (proba <= low) или "abstain" (между ними). Наконец установите preds = classify(model, HELD_OUT, 0.45, 0.55).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.