シラバス レッスン 250 中 151 · 埋め込みとセマンティック検索をゼロから
埋め込みとセマンティック検索をゼロから

振り分けと重複除去のためのクラスタリング(KMeans)

テキストがベクトルになれば、クラスタリングで、LLM のシステムでいつも出くわす 2 つの仕事ができるようになります。意味による振り分け:例の発話をまとまり(請求、技術サポート、営業)に分け、新しいメッセージを、それにいちばん近い重心のまとまりを担当するハンドラーに送ります。重複の候補を見つける:ほとんど同一の文書は同じまとまりに落ちるので、探す場所を絞り込めます。同じまとまりにいるからといって 2 つの文書が重複というわけではありません(1 つのまとまりには関連しているだけの文書が何百も入りえます)。だから本当の確認は、まとまりの中の各組への類似度のしきい値か、大きなコレクションなら MinHash のような手法です。

KMeans が働き者です。まとまりの数 k を伝えると、k 個の重心を見つけ、すべてのベクトルをいちばん近いものに割り当てます。重い仕事は scikit-learn がやってくれます:

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, random_state=0, n_init=10)
labels = model.fit_predict(vectors)   # cluster index per input vector
model.cluster_centers_                 # the k centroids
model.predict(new_vector)              # route a NEW vector to a cluster

実際にこれの成否を分けるものが 2 つあります:

  • 決定性。KMeans はランダムな重心から始まるので、random_state=0 を渡さなければなりません。それがないと、同じデータでも実行のたびに違うラベルになることがあり、振り分けが再現できなくなります。(整数のラベルの値そのものは恣意的な名前です。大切なのは、どの点が同じラベルを共有しているかです。)
  • 新しい点の振り分けでは、すでに fit したモデルの predict を使い、いちばん近い重心に割り当てます。fit し直しはしません。

はっきり分かれた 2 つの点のグループは 2 つのきれいなまとまりに落ちるはずで、片方のグループにある新しい点は、そのグループのまとまりへ振り分けられるはずです。

関数を 2 つ作ってください。cluster_route(vectors, k) は vectors に KMeans(n_clusters=k, random_state=0, n_init=10) を fit し、タプル (labels, model) を返します。labels は(入力のベクトルごとに 1 つの)まとまりのインデックスのリストです。route_new(model, vector) は、fit 済みのモデルを使って、新しいベクトルが振り分けられるまとまりのインデックス(int)を返します。

あなたの番

関数を 2 つ書いてください。cluster_route(vectors, k) はベクトルに KMeans(n_clusters=k, random_state=0, n_init=10) を fit し、タプル (labels, model) を返します:labels はベクトルごとに 1 つのまとまりのインデックスを持つリストで、model は fit 済みの推定器です。route_new(model, vector) は、fit 済みのモデルを使って、新しいベクトルが振り分けられるまとまりのインデックス(int)を返します。はっきり分かれた 2 つのグループは 2 つの別々のまとまりに落ちなければならず、新しいベクトルはいちばん近い重心へ振り分けられなければならず、異なるまとまりの数は k に等しくなければならず、random_state=0 のおかげで結果は実行のたびに同一でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。