Программа курса Урок 148 из 250 · Эмбеддинги и семантический поиск с нуля
Эмбеддинги и семантический поиск с нуля

BM25: Разреженное лексическое ранжирование

TF-IDF - отличный baseline, но ranking function, которая на самом деле работает в поисковых системах и в лексической части современного hybrid retrieval, это BM25. Она сохраняет инстинкт TF-IDF (редкие термины важны, повторяющиеся термины важны), но исправляет два его недостатка с помощью настраиваемых параметров.

Для поискового запроса в документе BM25 дает:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

, где tf это сколько раз термин встречается в документе, dl это длина документа, а avgdl это средняя длина документа. Оценка документа это сумма по всем терминам запроса. Три части выполняют работу:

  • IDF с нормализацией BM25: idf = log(1 + (N - n + 0.5) / (n + 0.5)), где N это количество документов и n это сколько документов содержат термин. + 1 не дает ему стать отрицательным.
  • Насыщение частотности терминов через k1 (по умолчанию 1.5): 10е появление слова добавляет гораздо меньше чем 2е. Чистый TF-IDF растет линейно бесконечно; BM25 выравнивается.
  • Нормализация длины через b (по умолчанию 0.75): ожидается, что длинный документ содержит термин чаще просто из-за своей длины, поэтому его оценка уменьшается. Два документа с одинаковым tf рангом оценивают более короткий выше.

термин, который встречается в , не документе ничего не дает, а документ, в котором отсутствует каждый поисковый запрос, получает ровно 0.0. Этот ноль имеет значение: так вы понимаете, что документ не относится к теме.

Вы будете работать с tokenized документами (списками слов), поэтому фокус будет на математике, а не на токенизации. Используйте math.log (натуральный логарифм); основа просто масштабирует все оценки на константу и не меняет рейтинг.

Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75), где query это список поисковых терминов, а corpus_tokens это список токенизированных документов. Верните список оценок BM25, по одной для каждого документа, в порядке корпуса.

Твоя очередь

Напишите bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) для реализации функции ранжирования BM25. query это список терминов; corpus_tokens это список токенизированных документов (каждый из которых является списком слов). Для каждого документа вычислите сумму по уникальным терминам запроса: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), с idf = log(1 + (N - n + 0.5) / (n + 0.5)). Верните список оценок в порядке корпуса. Документ с большим количеством вхождений термина запроса получает более высокий балл; документ без вхождений получает 0.0; при равной частоте терминов более длинный документ получает более низкий балл; два идентичных документа получают одинаковые баллы.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.