강의 계획 레슨 250개 중 192번째 · 책임 있는 AI: 안전, 검열, 레드팀
책임 있는 AI: 안전, 검열, 레드팀

판단 보류 구간이 있는 유해성 검열기

키워드 선별은 뻔한 공격을 잡지만 말투를 읽지는 못해요. "이 메시지가 유해한가?"에는 레이블 붙은 예시에서 패턴을 배운 훈련된 분류기가 필요해요. 콘텐츠 검열 엔드포인트가 속에서 하는 일이 바로 이거고, scikit-learn으로 열두 줄쯤이면 쓸 만한 걸 만들 수 있어요. GPU도, 클라우드도, LLM도 없이요.

방법은 일꾼 같은 글 분류 파이프라인이에요:

  • TfidfVectorizer는 각 메시지를 단어 중요도의 벡터로 바꿔요. 모든 메시지에 흔한 단어는 가중치가 내려가고, 한 메시지에 특징적인 단어는 가중치가 올라가요. 그게 "TF-IDF"라는 생각이에요.
  • LogisticRegression은 단어마다 가중치를 배우고 메시지가 유해할 확률을 내요. fit이 재현되도록 random_state=0으로 고정해요.

그것을 실무다운 모양으로 만드는 비틀기가 판단 보류 구간이에요. 날것의 분류기는 51% 확신할 때도 언제나 레이블 하나에 몸을 맡겨요. 검열에서 그건 무모해요: 경계선의 판단은 자동으로 정하지 말고 사람에게 가야 해요. 그래서 모델의 딱딱한 predict를 받는 대신, 확률을 읽고 나만의 양쪽 규칙을 적용해요:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

작은 레이블 세트로 훈련한 다음, 아래 경계와 위 경계를 써서 빼 둔 묶음을 "toxic", "clean", "abstain"으로 분류해요. 분명히 무례한 메시지는 toxic으로, 분명히 친절한 메시지는 clean으로 돌아와야 하고, 모델이 확실하지 않은 건 추측하지 말고 abstain에 떨어져야 해요. 훈련 세트가 작으면 확률이 가운데로 모이니, 여기서 실제로 클래스를 가르는 건 (0.45, 0.55) 같은 좁은 구간이에요.

왜 LLM 자체가 아니라 분류기인가

호스팅되는 검열 모델들(OpenAI의 moderation 엔드포인트, Perspective API 등)이 있고, 실무에서는 그중 하나를 부르는 경우가 많을 거예요. 여기서 로컬 모델을 만드는 이유는 세 가지예요: 이 샌드박스에서 오프라인으로 돌고, 호출마다 비용이 들지 않고, 움직이는 부분을 보이게 해 줘요. 특성, 단어마다 배운 가중치, 확률, 사람이 정한 기준. 그 개념들은 나중에 연결할 어떤 검열 서비스에든 그대로 옮겨 가요.

내 차례

Pipeline(TfidfVectorizer, LogisticRegression(random_state=0))을 fit 해서 돌려주는 train_moderator(texts, labels)를 만드세요. 그다음 toxic 클래스의 predict_proba를 읽어 "toxic"(proba >= high), "clean"(proba <= low), "abstain"(그 사이)의 리스트를 돌려주는 classify(model, texts, low, high)를 쓰세요. 마지막으로 preds = classify(model, HELD_OUT, 0.45, 0.55)로 정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.