意図分類(TF-IDF + LogisticRegression)
「AI 機能」のすべてに大規模言語モデルが必要なわけではありません。本番の LLM アプリのかなりの割合が、モデルの手前に小さくて地味な分類器を置いています:届いたメッセージを読み、それがどんな種類の要求か(請求?バグ報告?アカウントの変更?)を判断し、それに応じて振り分けるのです。その判断は速く、無料で、オフラインで動き、決定的です -> 同じ入力からはいつも同じ答えが返ります。高価な LLM 呼び出しにお金を使うのは、本当に必要になったときだけです。
短いテキストの働き者は TfidfVectorizer + LogisticRegression です。TF-IDF は各メッセージを、重み付きの単語の数の疎なベクトルに変え、ロジスティック回帰は意図のクラスのあいだの線形の境界を学びます。数十件のラベル付きの例なら、学習は数ミリ秒、分類は数マイクロ秒で終わります。
2 つを Pipeline で 1 つのオブジェクトにつなぎ、ベクトル化器と分類器がひとまとまりとして一緒に fit され適用されるようにします:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
pipe = Pipeline([
("tfidf", TfidfVectorizer()),
("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"]) # -> array(['billing'])なぜ random_state=0 なのか?持っておく価値のある習慣です。ここでの既定のソルバー(lbfgs)は決定的なので、このパイプラインは seed があってもなくても同じ重みになります。でもほかのソルバー(saga、liblinear)はデータをシャッフルしますし、scikit-learn の多くのモデル(ランダムフォレスト、k-means、学習用とテスト用の分割)は設計上ランダムです。そこでは seed が学習を再現できるものにします。どこにでも書いておけば、あとでソルバーやモデルを変えても、振り分けが実行のたびにこっそり入れ替わることがなくなります。このコースではどこでもこのルールに従います。
これがまさに LLM との対比です。モデルの呼び出しは決定的でなく、お金がかかり、遅延が増えます。意図がわかったあとで下流につなぐかもしれない代わりの処理は、たとえばこんなものです(参考として示すだけで、採点はしません):
# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
reply = await window._floatiTutor.complete(msg) # the on-device LLM関数を 2 つ作ってください。train_classifier(texts, labels) は fit 済みの Pipeline(TF-IDF + random_state=0 の LogisticRegression)を返します。predict(model, new_texts) はそのモデルと文字列のリストを受け取り、予測したラベルのリストを返します。実行を押して、小さなサポートチケットのデータで学習させ、取っておいたメッセージを正しいチームへ振り分ける様子を見てください。
TfidfVectorizer()、次に LogisticRegression(random_state=0, ...) からなる fit 済みの sklearn Pipeline を返す train_classifier(texts, labels) と、入力文字列のリストに対して予測したラベルのリストを返す predict(model, new_texts) を書いてください。seed で再現できるようになります。分類器は、取っておいた別々のメッセージをそれぞれ正しい意図に送らなければなりません。初期コードの TEXTS と LABELS はそのままにしてください:チェックがそれを読みます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。