BM25:疎な語彙に基づく順位付け
TF-IDF は素晴らしい基準ですが、実際に検索エンジンと、現代のハイブリッド検索の語彙に基づく半分を動かしている順位付けの関数は BM25 です。TF-IDF の直感(珍しい単語は大切、繰り返される単語は大切)を保ちつつ、調整できるつまみでその欠点を 2 つ直します。
ある文書の中のクエリの単語について、BM25 はこれだけ寄与します:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )ここで tf はその単語が文書に現れる回数、dl は文書の長さ、avgdl は文書の平均の長さです。文書のスコアは、すべてのクエリの単語にわたる合計です。3 つの部品が仕事をしています:
- BM25 の平滑化を施した IDF:
idf = log(1 + (N - n + 0.5) / (n + 0.5))。Nは文書の数、nはその単語を含む文書の数です。+ 1で負にならないようにしています。 k1(既定値 1.5)による単語頻度の飽和:ある単語の 10 回目の出現は、2 回目よりはるかに少ししか足しません。生の TF-IDF はいつまでも比例して伸びますが、BM25 は平らになります。b(既定値 0.75)による長さの正規化:長い文書は、長いというだけで単語をより多く含むと予想されるので、そのスコアは割り引かれます。同じtfの 2 つの文書なら、短いほうが上位になります。
どの文書にも現れない単語は何も寄与せず、クエリの単語を 1 つも含まない文書のスコアはちょうど 0.0 です。その 0 は大事な役割を担っています:それで文書が無関係だとわかるのです。
トークン化ではなく計算に集中できるように、トークン化済みの文書(単語のリスト)を扱います。math.log(自然対数)を使いましょう。底はすべてのスコアを定数倍するだけで、順位付けは変わりません。
query がクエリの単語のリストで、corpus_tokens がトークン化済みの文書のリストである bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) を作ってください。文書ごとに 1 つの BM25 のスコアを、コーパスの順番でリストにして返します。
BM25 の順位付けの関数を実装する bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) を書いてください。query は単語のリスト、corpus_tokens はトークン化済みの文書(それぞれ単語のリスト)のリストです。各文書について、一意なクエリの単語にわたって合計します:idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl))、ただし idf = log(1 + (N - n + 0.5) / (n + 0.5)) です。スコアをコーパスの順番のリストで返します。クエリの単語をより多く含む文書は高いスコアになり、1 つも含まない文書は 0.0 になり、単語頻度が同じなら長い文書のほうが低いスコアになり、同一の 2 つの文書は同一のスコアになります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。