判断を保留できる意図分類器
キャップストーンの構築へようこそ。4 つのレッスンを通して、ユーザーとモデルの間に入る層を作り上げます。リクエストが何を求めているかを分類し、適切な処理に振り分け、答えをキャッシュし、悪用から守り、1 ドル残らず計算する AI ゲートウェイ です。これは、気の利いたデモを会社が実際に運用できるものに変える、地味なインフラです。履歴書に「AI ゲートウェイを作った:分類、振り分け、キャッシュ、ガードレール、コスト計算」と書かれているとき、採用担当者が思い浮かべるのはまさにこれです。
範囲について正直にひとこと:ここで作るのは、ゲートウェイのアプリケーション層の ロジック(分類、振り分け、意味的キャッシュ、ガードレール、コスト計算)です。本番で実際に動かすゲートウェイには、それを載せる稼働中のサービス、認証、本物の分散レート制限、デプロイも必要ですが、それらはブラウザの中で動くこのキャップストーンの範囲を超えています。
最初の行き先は玄関口です。届くリクエストはどれもひとかたまりのテキストで、それを賢く扱う前に、まず それが何なのか を知る必要があります。天気の質問でしょうか? アカウントの問題でしょうか? 請求への苦情でしょうか? ラベル付きの少数の例から学び、新しいリクエストにタグを付ける 意図分類器 を作ります。おもちゃと本物の分類器を分ける落とし穴は、わからない ときにそれを自覚できなければならないことです。意味不明な文字列に自信満々でラベルを付けるモデルは、下流では役に立たないどころか害になります。だからあなたの分類器は、確信がないときは 判断を保留 して "unknown" を返します。
2 つの関数を書きます:
train_intent(texts, labels)->TfidfVectorizerを学習させてテキストをベクトルに変え、その上にLogisticRegression(random_state=0)を学習させます。classifyが予測に必要とするまとまり(辞書で構いません)を返します。全員が同じ結果を得られるよう、モデルにシードを設定します。classify(model, text)->(label, confidence)のタプルを返します。predict_probaでクラスの確率を求め、いちばん高いものを取ります。その確信度がしきい値(およそ0.5)より低ければ、代わりに("unknown", confidence)を返します。
本当に分布の外にある入力を見つける方法は、安くて頑丈です。TfidfVectorizer.transform が学習時の語彙を ひとつも 含まないテキストを見ると、得られる行はすべてゼロになります(その .nnz は 0 です)。それは、モデルに手がかりが何もないという合図なので、すぐに判断を保留します:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)モデルについて実務的な注意をひとつ。ごく小さな学習データでは、既定の正則化のせいで確率がどれも偶然の水準あたりにとどまり、正当な質問でもしきい値を超えられません。C=10.0 で正則化をゆるめ(収束するよう max_iter も上げます)と、モデルが十分に鋭くなり、本物の言い換えには自信を持って点が付き、ゴミはやはり保留されます。Run を押して、ラベル付きのサポート質問いくつかで学習させ、言い換えが分類され、意味不明な文字列は身を引くのを見てみましょう。
TfidfVectorizer + LogisticRegression(random_state=0) を使って train_intent(texts, labels) を書いてください(小さなデータでも収束するよう C=10.0 でゆるめ、max_iter を上げます)。classify が必要とするまとまりを返します。次に (label, confidence) を返す classify(model, text) を書きます。predict_proba でいちばん高いクラスを取り、約 0.5 のしきい値より低ければ ("unknown", conf) に保留し、変換した行がすべてゼロ(X.nnz == 0)ならすぐに保留して、分布の外の入力や空の入力にラベルが付かないようにします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。