Bag-of-Words のベクトル
モデルが 2 つのテキストを比べられるようにするには、まずテキストを数にしなければなりません。いちばん古くて単純な方法は bag of words(単語の袋)です:決まった単語のリスト(語彙)を選び、どんな文書も、語彙の各単語がその中に何回現れるかで表します。語順は捨てられるので「袋」と呼ぶのです。粗っぽいですが、TF-IDF、BM25、さらには密な埋め込みまでもが土台にしている基礎です。
語彙が ["the", "cat", "sat", "dog", "ran"] だとしましょう。文書 "the cat sat" は数のベクトル [1, 1, 1, 0, 0] になります:the が 1 つ、cat が 1 つ、sat が 1 つ、dog が 0、ran が 0 です。文書 "the dog ran the dog" は [2, 0, 0, 2, 1] になります。
本番で大切なルールが 2 つあります:
- 文書がどれだけ長くても、ベクトルの長さは常に語彙の大きさです。この決まった形のおかげで、文書を行列に積み上げて線形代数ができます。
- 語彙にない単語(語彙外、つまり OOV)はただ無視されます。本物のシステムは語彙に上限を設けるので、見たことのない単語は消えます。
本物のコードでは、まさにこれをして疎行列を渡してくれる scikit-learn を使うでしょう:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsその道具が内部で何をしているかを理解するために、数える関数を自分で作ります。
vectorize(doc, vocab) を作ってください:文書を小文字にし、空白で分割し、語彙の単語ごとに 1 つの数を、語彙の順番で並べたリストを返します。語彙にないトークンは無視します。空の文書ならすべて 0 を返します。
文書の文字列を、決まった語彙についての bag-of-words の数のリストに変える vectorize(doc, vocab) を書いてください。文書を小文字にして空白で分割し、vocab の各単語が何回現れるかを数え、その数を vocab の順番のリストとして返します。語彙外のトークンは無視し、空の文書ならすべて 0 を返します。返すリストの長さは常に len(vocab) に等しくなります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。