チャンクを埋め込む
テキストのチャンクができました。でも検索器が比べるのは単語ではなくベクトルなので、欠けているステップは埋め込みです:似た内容のテキストが似た座標に落ちるように、各チャンクを決まった長さの数のリストに変えるのです。これがパイプライン(chunk -> embed -> store -> retrieve -> prompt)で約束した「embed」で、次のレッスンの VectorStore.add(id, text, vector) に食べさせるものです。
本番のシステムはネットワーク越しにニューラルな埋め込みモデル(OpenAI、Cohere、sentence-transformer)を呼びますが、約束は同じなので、それを学ぶために、オフラインで本物の決定的な埋め込み器を作れます:bag-of-words のベクトルです。vocab(気にする単語)を決め、テキストを、各語彙の単語がその中に何回現れるかで表します。
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)もう 1 ステップで、これらをコサインの検索に使えるようになります:ベクトルを L2 正規化する(それ自身の長さ np.linalg.norm で割る)のです。そうすれば、どのベクトルも長さが 1 になるので、コサイン類似度はただの内積になり、長いチャンクが単語が多いというだけで短いチャンクを圧倒することがなくなります。語彙の単語を 1 つも含まないチャンクには正規化するものがないので、そのすべて 0 のベクトルはそのままにします(決して 0 で割らないこと)。
関数を 2 つ作ってください。
build_vocab(chunks)-> すべてのチャンクにわたる一意な単語を並べ替えたリスト。各チャンクはtext.lower().split()(小文字にして、空白で分割する)でトークン化します。embed(text, vocab)-> 長さlen(vocab)の numpy の float 配列:textの中の各語彙の単語の数(同じトークン化で)を、L2 正規化したもの。数がすべて 0 なら、ゼロベクトルを変えずに返します。
実行を押していくつかのチャンクを埋め込み、関連するテキストが同じ方向を向くことを確かめましょう。
すべてのチャンクにわたる一意な単語を並べ替えて返す build_vocab(chunks)(text.lower().split() でトークン化する)と、text の中の各語彙の単語の数(同じトークン化で)を持ち、np.linalg.norm で L2 正規化した、長さ len(vocab) の numpy の float 配列を返す embed(text, vocab) を書いてください。すべての数が 0 なら、すべて 0 のベクトルを変えずに返します(0 で割らないこと)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。