埋め込みからプロトタイプへの振り分け
分類器にはラベル付きの学習用データが必要です。それがまったくないこともあります -> 各意図についていくつかの例のクエリがあるだけ、という場合です。そのときいちばん安い振り分けは最近傍プロトタイプです:各意図を 1 つのベクトル(その「プロトタイプ」。たいていはいくつかの例の埋め込みの平均)で表し、届いたクエリを埋め込み、それがいちばんまっすぐ向いているプロトタイプへ振り分けます。
「いちばんまっすぐ向いている」とはコサイン類似度のことです:長さを無視した、2 つのベクトルのなす角のコサインです。同じ話題についての長い文書と短い文書がちゃんと一致するべきなので、テキストにはこれが正しい尺度です。
cosine(a, b) = (a . b) / (|a| |b|)1.0 に近い値はベクトルが同じ方向を向いている(同じ意図)ことを、0.0 に近い値は関係がないことを意味します。振り分けはコサインがいちばん高いプロトタイプを選び、そのスコアはあとでしきい値をかけられる確信度としても使えます。
正直な説明:本番では、それらのベクトルは学習済みの埋め込みモデル(API 呼び出しや sentence-transformer)から来ます。ここではそれを読み込めません -> ブラウザにはモデルの重みファイルも GPU もないからです。だからこのレッスンでは、ベクトルはふつうの numpy 配列として与えられます。あなたが作るのは振り分けの幾何学で、それは数が本物の埋め込み器から来たのでもフィクスチャから来たのでもまったく同じです。本物の埋め込みはもっと良い数を入れてくれるだけで、コサインと argmax のロジックこそ、あなたが出荷する部分です。
同点は決定的に処理しなければなりません。2 つのプロトタイプがちょうど同じ距離なら、「辞書でたまたま先に来たほう」を選ぶのは潜在的なバグです -> 辞書の順番は変わりうるからです。名前がアルファベット順で先に来る意図を選んで同点を崩せば、同じ同点はいつも同じように決着します。
関数を 2 つ作ってください。cosine(a, b) は 2 つのベクトルのコサイン類似度を返し、ゼロに対して安全です(長さ 0 のベクトルなら NaN ではなく 0.0 を返します)。route_by_prototype(query_vec, prototypes) はクエリのベクトルと辞書 {intent_name: prototype_vector} を受け取り、タプル (best_intent, best_score) を返します -> アルファベット順の同点崩しを使った、いちばん近いプロトタイプとそのコサインです。実行を押していくつかのクエリを振り分け、それぞれがどんな確信度で返ってくるかを見てください。
cosine(a, b) = a.b / (|a||b|) を書き、どちらかのベクトルの長さが 0 なら 0.0 を返すようにしてください(NaN にしない)。それから prototypes が辞書 {name: vector} である route_by_prototype(query_vec, prototypes) を書きます。コサインがいちばん高いものについてタプル (best_name, best_score) を返し、ちょうどの同点はアルファベット順で先の名前で崩します。初期コードの PROTOTYPES はそのままにしてください:チェックがそれを読みます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。