Conteúdo do curso Lição 192 de 250 · IA responsável: segurança, moderação e red-teaming
IA responsável: segurança, moderação e red-teaming

Um moderador de toxicidade com uma faixa de abstenção

Triagens por palavra-chave pegam os ataques óbvios, mas não conseguem ler o tom. Para "esta mensagem é tóxica?", você quer um classificador treinado que aprendeu os padrões a partir de exemplos rotulados. É exatamente o que um endpoint de moderação de conteúdo faz por baixo dos panos, e você pode construir um respeitável em uma dúzia de linhas com scikit-learn. Sem GPU, sem nuvem, sem LLM.

A receita é o pipeline padrão de classificação de texto:

  • TfidfVectorizer transforma cada mensagem em um vetor de importâncias de palavras. Palavras comuns a todas as mensagens perdem peso; palavras características de uma mensagem ganham peso. Essa é a ideia do "TF-IDF".
  • LogisticRegression aprende um peso por palavra e produz a probabilidade de a mensagem ser tóxica. Fixamos random_state=0 para que o ajuste seja reproduzível.

O detalhe que dá a isso cara de produção é uma faixa de abstenção. Um classificador puro sempre se compromete com um rótulo, mesmo quando tem 51% de certeza. Em moderação isso é imprudente: um caso no limite deve ir para um humano, não ser decidido automaticamente. Então, em vez de usar o predict direto do modelo, você lê a probabilidade dele e aplica sua própria regra de dois lados:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Você vai treinar em um pequeno conjunto rotulado e depois classificar um lote separado em "toxic", "clean" ou "abstain", usando uma borda baixa e uma borda alta. As mensagens claramente grosseiras devem voltar como toxic, as claramente simpáticas como clean, e tudo sobre o que o modelo estiver inseguro deve cair em abstain em vez de virar um chute. Um conjunto de treino pequeno deixa as probabilidades amontoadas perto do meio, então uma faixa estreita como (0.45, 0.55) é o que realmente separa as classes aqui.

Por que um classificador e não o próprio LLM

Existem modelos de moderação hospedados (o endpoint de moderação da OpenAI, a Perspective API e outros), e em produção muitas vezes você chamaria um deles. Construímos um local aqui por três motivos: ele roda offline neste sandbox, não custa nada por chamada e deixa as peças visíveis: features, um peso aprendido por palavra, uma probabilidade e um limite definido por um humano. Esses conceitos se transferem direto para qualquer serviço de moderação que você conectar depois.

Sua vez

Construa train_moderator(texts, labels), que ajusta um Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) e o retorna. Depois escreva classify(model, texts, low, high), que lê predict_proba para a classe tóxica e retorna uma lista com "toxic" (proba >= high), "clean" (proba <= low) ou "abstain" (no meio). Por fim, defina preds = classify(model, HELD_OUT, 0.45, 0.55).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.