シラバス レッスン 250 中 143 · 埋め込みとセマンティック検索をゼロから
埋め込みとセマンティック検索をゼロから

Bag-of-Words のベクトル

モデルが 2 つのテキストを比べられるようにするには、まずテキストを数にしなければなりません。いちばん古くて単純な方法は bag of words(単語の袋)です:決まった単語のリスト(語彙)を選び、どんな文書も、語彙の各単語がその中に何回現れるかで表します。語順は捨てられるので「袋」と呼ぶのです。粗っぽいですが、TF-IDF、BM25、さらには密な埋め込みまでもが土台にしている基礎です。

語彙が ["the", "cat", "sat", "dog", "ran"] だとしましょう。文書 "the cat sat" は数のベクトル [1, 1, 1, 0, 0] になります:the が 1 つ、cat が 1 つ、sat が 1 つ、dog が 0、ran が 0 です。文書 "the dog ran the dog" は [2, 0, 0, 2, 1] になります。

本番で大切なルールが 2 つあります:

  • 文書がどれだけ長くても、ベクトルの長さは常に語彙の大きさです。この決まった形のおかげで、文書を行列に積み上げて線形代数ができます。
  • 語彙にない単語(語彙外、つまり OOV)はただ無視されます。本物のシステムは語彙に上限を設けるので、見たことのない単語は消えます。

本物のコードでは、まさにこれをして疎行列を渡してくれる scikit-learn を使うでしょう:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

その道具が内部で何をしているかを理解するために、数える関数を自分で作ります。

vectorize(doc, vocab) を作ってください:文書を小文字にし、空白で分割し、語彙の単語ごとに 1 つの数を、語彙の順番で並べたリストを返します。語彙にないトークンは無視します。空の文書ならすべて 0 を返します。

あなたの番

文書の文字列を、決まった語彙についての bag-of-words の数のリストに変える vectorize(doc, vocab) を書いてください。文書を小文字にして空白で分割し、vocab の各単語が何回現れるかを数え、その数を vocab の順番のリストとして返します。語彙外のトークンは無視し、空の文書ならすべて 0 を返します。返すリストの長さは常に len(vocab) に等しくなります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。