Un moderador de toxicidad con franja de abstención
Los filtros de palabras clave atrapan los ataques obvios, pero no pueden leer el tono. Para "¿es tóxico este mensaje?" quieres un clasificador entrenado que haya aprendido los patrones a partir de ejemplos etiquetados. Es exactamente lo que hace por dentro un servicio de moderación de contenido, y puedes construir uno respetable en una docena de líneas con scikit-learn. Sin GPU, sin nube, sin LLM.
La receta es la canalización de clasificación de texto de toda la vida:
- TfidfVectorizer convierte cada mensaje en un vector de importancias de palabras. Las palabras comunes a todos los mensajes pierden peso; las palabras propias de un mensaje lo ganan. Esa es la idea de "TF-IDF".
- LogisticRegression aprende un peso por palabra y devuelve una probabilidad de que el mensaje sea tóxico. Fijamos
random_state=0para que el ajuste sea reproducible.
El giro que lo pone en forma de producción es una franja de abstención. Un clasificador en bruto siempre se compromete con una etiqueta, aunque esté seguro al 51%. En moderación eso es temerario: una decisión dudosa debe ir a una persona, no decidirse automáticamente. Así que, en lugar de tomar el predict rotundo del modelo, lees su probabilidad y aplicas tu propia regla de dos lados:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanEntrenarás con un pequeño conjunto etiquetado y luego clasificarás un lote reservado en "toxic", "clean" o "abstain" usando un borde bajo y uno alto. Los mensajes claramente groseros deben volver como toxic, los claramente amables como clean, y todo aquello de lo que el modelo no esté seguro debe caer en abstain en lugar de adivinar. Un conjunto de entrenamiento pequeño mantiene las probabilidades apiñadas cerca del centro, así que una franja estrecha como (0.45, 0.55) es lo que de verdad separa las clases aquí.
Por qué un clasificador y no el propio LLM
Existen modelos de moderación alojados (el servicio de moderación de OpenAI, Perspective API, etcétera), y en producción a menudo llamarías a uno de ellos. Aquí construimos uno local por tres razones: funciona sin conexión en este entorno, no cuesta nada por llamada y deja a la vista las piezas móviles: características, un peso aprendido por palabra, una probabilidad y un umbral fijado por una persona. Esos conceptos se trasladan directamente a cualquier servicio de moderación que conectes más adelante.
Construye train_moderator(texts, labels), que ajuste un Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) y lo devuelva. Luego escribe classify(model, texts, low, high), que lea predict_proba para la clase tóxica y devuelva una lista de "toxic" (proba >= high), "clean" (proba <= low) o "abstain" (entre medias). Por último, fija preds = classify(model, HELD_OUT, 0.45, 0.55).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.