강의 계획 레슨 250개 중 196번째 · LLM을 둘러싼 ML
LLM을 둘러싼 ML

의도 분류 (TF-IDF + LogisticRegression)

모든 "AI 기능"에 대형 언어 모델이 필요한 건 아니에요. 실무 LLM 앱의 상당수가 모델 앞에 작고 지루한 분류기를 둬요: 들어온 메시지를 읽고, 어떤 종류의 요청인지(결제? 버그 보고? 계정 변경?) 정하고, 그에 따라 보내요. 그 결정은 빠르고, 무료이고, 오프라인으로 돌고, 결정적이에요 -> 같은 입력은 언제나 같은 답을 줘요. 비싼 LLM 호출은 정말로 필요할 때만 써요.

짧은 글의 일꾼은 TfidfVectorizer + LogisticRegression이에요. TF-IDF는 각 메시지를 가중치 붙은 단어 개수의 희소 벡터로 바꾸고, 로지스틱 회귀는 의도 클래스 사이의 선형 경계를 배워요. 레이블 붙은 예시 수십 개로 몇 밀리초 만에 훈련되고 몇 마이크로초 만에 분류해요.

벡터라이저와 분류기가 한 단위로 함께 fit 되고 적용되도록 Pipeline으로 둘을 한 객체에 엮을 거예요:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

왜 random_state=0인가요? 들일 만한 습관이에요. 여기의 기본 솔버(lbfgs)는 결정적이라, 이 파이프라인은 시드가 있든 없든 같은 가중치를 줘요. 하지만 다른 솔버(saga, liblinear)는 데이터를 섞고, 많은 scikit-learn 모델(랜덤 포레스트, k-means, 훈련/테스트 분할)은 설계상 무작위라, 거기서는 시드가 훈련을 재현되게 해요. 어디에나 써 두면, 나중에 솔버나 모델을 바꿔도 라우팅이 실행마다 몰래 뒤집히지 않아요. 이 강좌는 어디서나 이 규칙을 따라요.

이것이 바로 LLM과의 대조예요. 모델 호출은 비결정적이고, 돈이 들고, 지연을 더해요. 의도를 알고 나면 그 뒤에 연결할 수 있는 대체 처리는 이런 거예요(맥락을 위해 보여 줄 뿐, 채점하지 않아요):

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

함수 두 개를 만드세요. train_classifier(texts, labels)는 fit 된 Pipeline(TF-IDF + random_state=0인 LogisticRegression)을 돌려줘요. predict(model, new_texts)는 그 모델과 문자열 리스트를 받아 예측된 레이블의 리스트를 돌려줘요. 작은 지원 티켓 세트로 훈련하고 빼 둔 메시지가 알맞은 팀으로 가는 걸 보려면 실행을 누르세요.

내 차례

TfidfVectorizer() 다음 LogisticRegression(random_state=0, ...)인 fit 된 sklearn Pipeline을 돌려주는 train_classifier(texts, labels)와, 입력 문자열 리스트에 대해 예측된 레이블의 리스트를 돌려주는 predict(model, new_texts)를 쓰세요. 시드가 재현되게 해 주고, 분류기는 서로 다른 빼 둔 메시지를 올바른 의도로 보내야 해요. 시작 코드의 TEXTS와 LABELS는 그대로 두세요: 확인이 그것을 읽어요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.