BM25: Разреженное лексическое ранжирование
TF-IDF - отличный baseline, но ranking function, которая на самом деле работает в поисковых системах и в лексической части современного hybrid retrieval, это BM25. Она сохраняет инстинкт TF-IDF (редкие термины важны, повторяющиеся термины важны), но исправляет два его недостатка с помощью настраиваемых параметров.
Для поискового запроса в документе BM25 дает:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) ), где tf это сколько раз термин встречается в документе, dl это длина документа, а avgdl это средняя длина документа. Оценка документа это сумма по всем терминам запроса. Три части выполняют работу:
- IDF с нормализацией BM25:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), гдеNэто количество документов иnэто сколько документов содержат термин.+ 1не дает ему стать отрицательным. - Насыщение частотности терминов через
k1(по умолчанию 1.5): 10е появление слова добавляет гораздо меньше чем 2е. Чистый TF-IDF растет линейно бесконечно; BM25 выравнивается. - Нормализация длины через
b(по умолчанию 0.75): ожидается, что длинный документ содержит термин чаще просто из-за своей длины, поэтому его оценка уменьшается. Два документа с одинаковымtfрангом оценивают более короткий выше.
термин, который встречается в , не документе ничего не дает, а документ, в котором отсутствует каждый поисковый запрос, получает ровно 0.0. Этот ноль имеет значение: так вы понимаете, что документ не относится к теме.
Вы будете работать с tokenized документами (списками слов), поэтому фокус будет на математике, а не на токенизации. Используйте math.log (натуральный логарифм); основа просто масштабирует все оценки на константу и не меняет рейтинг.
Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75), где query это список поисковых терминов, а corpus_tokens это список токенизированных документов. Верните список оценок BM25, по одной для каждого документа, в порядке корпуса.
Напишите bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) для реализации функции ранжирования BM25. query это список терминов; corpus_tokens это список токенизированных документов (каждый из которых является списком слов). Для каждого документа вычислите сумму по уникальным терминам запроса: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), с idf = log(1 + (N - n + 0.5) / (n + 0.5)). Верните список оценок в порядке корпуса. Документ с большим количеством вхождений термина запроса получает более высокий балл; документ без вхождений получает 0.0; при равной частоте терминов более длинный документ получает более низкий балл; два идентичных документа получают одинаковые баллы.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.