小さなベクトルストア
文書をチャンクに分け、各チャンクをベクトルに変えたら、そのベクトルを置いておく場所と、「保存したベクトルのうち、このクエリにいちばん似た方向を向いているのはどれか?」と尋ねる方法が必要です。それがベクトルストアです。Pinecone、Chroma、FAISS、pgvector はこの考えの本番の版ですが、中核は手で作れるほど小さく、一度作れば、そうしたサービスが実際に何をしているのかがわかります。
検索の指標はコサイン類似度です:2 つのベクトルのなす角のコサイン、a . b / (|a| |b|)。同じ方向を向いたベクトルに報い、その長さは無視します。長い一節と短い一節が同じことについてでありうるテキストには、それが望ましいのです。1 に近いスコアは「とても似た方向」、0 に近いスコアは「無関係」を意味します。
ストアが呼び出しのあいだで記憶を持てるように、クラスを作ります。このレッスンを守る関門はクラスのメソッドをスタブにしないので、ここでの守りは、search がいくつもの違うクエリについて正しい最近傍の順番を返さなければならないことです:すべて正しくできるのは本物のコサインの計算だけです。
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]作るもの。次を持つ class VectorStore を実装してください:
- id、テキスト、ベクトルを保存する
add(id, text, vector)(ベクトルは float の numpy 配列として保存する)。 len(store)が保存した要素の数を返すようにする__len__。- 呼び出す側が何が追加されたかを見られるようにする
ids属性(リスト)。 - 上位 k 件の最近傍を、類似度の降順に並べた
(id, similarity)のタプルのリストとして、長さをkまでにして返すsearch(query_vec, k)。
スコアには numpy.argsort かふつうの並べ替えを使いましょう。実行を押して、ラベル付きのベクトルをいくつか追加し、クエリがどれを最初に引き戻すかを見てください。
add(id, text, vector)(id、テキスト、そして numpy の float 配列としてのベクトルを保存する)、要素の数を返す __len__、公開の ids のリスト、そしてコサイン類似度で上位 k 件の (id, similarity) のタプルを、高い順に、k 件までにして返す search(query_vec, k) を持つ class VectorStore を実装してください。ゼロベクトルはクラッシュせずに 0.0 を取らなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。