numpy でのコサイン類似度
文書がベクトルになったので、2 つが「似ている」かどうかはどう測るのでしょう?直感ではユークリッド距離(直線距離)ですが、テキストにとってそれは罠です。長い文書は単語を繰り返すので、その数のベクトルは単に大きくなり、話題がまったく同じでも、ユークリッド距離は長さで罰を与えてしまいます。本当に気にしているのは方向、つまりどの単語がどんな割合で入っているかです。それを測るのがコサイン類似度です。
コサイン類似度は 2 つのベクトルのなす角のコサインです:
cosine(a, b) = (a . b) / (|a| * |b|)ここで a . b は内積、|a| は a の長さ(L2 ノルム)です。値はきれいな範囲に収まります:
- 1.0 -> 同じ方向(文書と、それを拡大したコピー)。
- 0.0 -> 直交していて、共通の方向がない(共通の単語がない)。
- そのあいだの値 -> 部分的な重なり。
長さを割って消すので、コサインは [1, 1] と [10, 10] を同一とみなします。この長さに左右されない性質こそ、あらゆる埋め込みと RAG のシステムがユークリッド距離ではなくコサインで順位付けする理由です。
numpy では、全体が 3 つの呼び出しで済みます:
import numpy as np
a = np.array([1, 2, 3], dtype=float)
b = np.array([2, 4, 6], dtype=float)
np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) # -> 1.0本番で噛みついてくる端のケースが 1 つあります:ゼロベクトル(語彙の単語を 1 つも含まない文書)は長さが 0 で、0 で割ると NaN になり、それが下流のすべての並べ替えを汚染します。頑丈な類似度は、どちらかのベクトルがすべて 0 なら 0.0 を返します。
コサイン類似度を float で返し、どちらかの入力がゼロベクトルなら(決して NaN ではなく)0.0 を返す cosine(a, b) を作ってください。入力は Python のリストでも numpy の配列でもかまいません。
2 つのベクトルのコサイン類似度、つまり内積をそれぞれの L2 ノルムの積で割ったものを返す cosine(a, b) を書いてください。Python のリストも numpy の配列も受け付け、float を返します。平行なベクトルは 1.0、直交するベクトルは 0.0 を返し、関数は対称です。どちらかのベクトルがすべて 0 なら、0 で割って NaN を生む代わりに 0.0 を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。