シラバス レッスン 250 中 145 · 埋め込みとセマンティック検索をゼロから
埋め込みとセマンティック検索をゼロから

埋め込みの直感(決定的なモックの埋め込み器)

bag-of-words には致命的な盲点があります:"dog" と "puppy" は違う単語なので、意味はほとんど同じなのに、数のベクトルは何も共有せず、コサインは 0 になります。本物の埋め込みは、単語(あるいは文全体)を、似た使われ方をするものが近くに落ちるベクトル空間に置くことで、これを直します。導きとなる考えは分布仮説です:単語は、それが付き合う仲間によって知られる。同じ文脈に現れる単語は、似たベクトルを得るのです。

本番の埋め込みは、学習済みのニューラルネットワーク(sentence-transformers)かホストされた API から来ます。ここではそれを動かせません:この砂場には GPU もネットワークもないからです。だから、学習済みの重みなしで本物の幾何学をとらえる、決定的なモックの埋め込み器を作ります。自分の限界に正直で、仕組みを学ぶにはぴったりです。

コツは共起ベクトルです。小さく選び抜いたコーパスがあるとき、ある単語の埋め込みは、それと同じ文書に現れるほかの単語の数です。dog と puppy がどちらも park、runs、nap と付き合っていれば、文脈のベクトルはそろい、コサインは高くなります。invoice は代わりに pay や due と付き合うので、別の方向を向きます。

このレッスンに付いているコーパスでは、その成果は具体的です:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

この不等式 cosine(dog, puppy) > cosine(dog, invoice) は、埋め込みの要点を 1 行で表したものです。

対比のために、本物の呼び出しはこんな形です(ここでは動きません。参考として示すだけです):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

ある単語の共起ベクトルを返す embed(word, corpus, vocab) を作ってください:決まった長さのリスト(語彙の単語ごとに 1 つの枠)で、枠 j は、対象の単語を含むすべてのコーパスの文書にわたって、語彙の単語 j が対象の単語と何回共起するかを数えます。対象の単語を自分自身に対して数えないでください。同じ単語なら必ず同じベクトルを返します。

あなたの番

決定的なモックの埋め込み器 embed(word, corpus, vocab) を書いてください。与えられた単語について、corpus のすべての文書(それぞれ小文字の文字列)を調べます。その単語を含む文書では、ほかの単語(対象の単語そのものは飛ばす)を語彙の長さのベクトルに数え入れ、vocab の順番のリストとして返します。結果は共起の文脈ベクトルです:似た文脈で使われる単語は似たベクトルを得るので、レッスンのコーパスでは cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")) になります。同じ単語なら必ず同じベクトルになり、長さは常に len(vocab) に等しくなります。初期コードの CORPUS と VOCAB はそのままにしてください:チェックがそれを読みます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。