Conteúdo do curso Lição 149 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

Busca Híbrida: Reciprocal Rank Fusion + Reranking

BM25 (esparso, lexical) e embedding cosine (denso, semântico) cada um captura o que o outro perde: BM25 acerta termos exatos e códigos raros, recuperação densa captura paráfrases. Sistemas de produção rodam both e combinam os resultados. O detalhe é que as pontuações deles vivem em escalas totalmente diferentes, então você não pode apenas somá-las. A correção padrão é combinar por rank, não por score.

Reciprocal Rank Fusion (RRF) faz exatamente isso. Cada retriever te dá uma lista ordenada de document ids. A pontuação fundida de um item é a soma, entre as listas, de 1 / (k + rank), onde rank é sua posição baseada em 1 naquela lista e k é uma constante (60 é o padrão comum que suaviza a diferença entre os ranks 1 e 2):

score(item) = sum over lists of  1 / (k + rank_in_that_list)

Um item perto do topo de ambos listas coleta duas grandes contribuições e vence. Um item que apenas um retriever encontrou ainda ganha crédito parcial. Depois ordene por fused score descendente. Para determinismo quando dois itens empatarem, desempate pelo item id.

A segunda etapa é reranking. Fusion é barato e aproximado; um cross-encoder lê a consulta e um candidato juntos e pontua a relevância deles diretamente, o que é muito mais acurado mas lento demais para rodar sobre todo o corpus. Então você faz a fusão para obter uma lista curta de candidatos, depois faz o rerank apenas nesses poucos com o modelo caro. Não podemos rodar um cross-encoder real aqui (sem modelo, sem GPU), então você recebe a saída dele como uma score table mapeando cada candidato para sua pontuação de relevância, e você reordena por ela.

Para contexto, uma chamada de reranker real se parece com isso (NÃO usada na correção):

# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])

Construa duas funções. rrf(rank_lists, k=60) recebe uma lista de listas de ids ranqueados e retorna os ids fundidos ordenados por score RRF descendente (empates resolvidos por id). rerank(candidates, score_table) retorna os candidatos reordenados por seu score em score_table descendente (empates resolvidos por id).

Sua vez

Escreva duas funções. rrf(rank_lists, k=60) funde várias listas de id ranqueadas: a pontuação de cada item é a soma sobre as listas de 1 / (k + rank) (o rank é a posição baseada em 1), e você retorna os itens ordenados pela pontuação fundida de forma decrescente, desempatando pelo id do item. rerank(candidates, score_table) retorna candidates reordenado por score_table[item] de forma decrescente, desempatando por id. Um item ranqueado alto em ambas as listas de entrada deve vencer a fusão; fundir dois pares de listas diferentes deve dar ordens diferentes; rerank deve reordenar pela tabela de pontuação; e fundir uma única lista retorna ela inalterada.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.