Гибридный поиск: Reciprocal Rank Fusion + Reranking
BM25 (sparse, lexical) и embedding cosine (dense, semantic) каждый ловит то, что пропускает другой: BM25 точно определяет точные термины и редкие коды, а dense retrieval ловит перефразирования. Продакшн системы запускают both и объединяют результаты. Подвох в том, что их оценки живут на совершенно разных шкалах, поэтому вы не можете просто их сложить. Стандартное решение это объединение по rank, а не по score.
Reciprocal Rank Fusion (RRF) делает именно это. Каждый retriever дает вам упорядоченный список document ids. Скор из слияния для элемента это сумма по всем спискам 1 / (k + rank), где rank это его позиция в списке, начинающаяся с 1, а k это константа (60 это общепринянное значение по умолчанию, которое смягчает разрыв между рангами 1 и 2):
score(item) = sum over lists of 1 / (k + rank_in_that_list)Элемент в верхней части both списков собирает два крупных вклада и побеждает. Элемент, который нашел только один retriever, все равно получает частичные баллы. Затем отсортируйте по fused score по убыванию. Для детерминизма при равенстве двух элементов разрешайте ничью по item id.
Второй этап это reranking. Fusion дешевый и приближенный; cross-encoder читает запрос и кандидата вместе и оценивает их релевантность напрямую, что гораздо точнее, но слишком медленно для работы со всем корпусом. Поэтому вы делаете fusion, чтобы получить короткий список кандидатов, а затем делаете rerank только для этих нескольких с дорогой моделью. Мы не можем запустить настоящий cross-encoder здесь (нет модели, нет GPU), поэтому вам выдают его результат как score table, сопоставляющую каждого кандидата с его баллом релевантности, и вы сортируете заново по нему.
Для контекста, реальный вызов reranker выглядит так (НЕ используется для оценки):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])Создайте две функции. rrf(rank_lists, k=60) принимает список списков ранжированных id и возвращает объединенные id, отсортированные по убыванию RRF score (при равенстве сортировка по id). rerank(candidates, score_table) возвращает кандидатов, отсортированных повторно по их оценке в score_table по убыванию (при равенстве сортировка по id).
Напишите две функции. rrf(rank_lists, k=60) объединяет несколько списков ранжированных id: оценка каждого элемента это сумма по спискам 1 / (k + rank) (ранг это позиция, начинающаяся с 1), и вы возвращаете элементы, отсортированные по объединенной оценке по убыванию, при равенстве по id элемента. rerank(candidates, score_table) возвращает candidates заново отсортированным по score_table[item] по убыванию, при равенстве по id. Элемент с высоким рангом в обоих входных списках должен победить при объединении; объединение двух разных пар списков должно давать разные порядки; rerank должен менять порядок по таблице оценок; и объединение одного списка возвращает его без изменений.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.