Busca Híbrida: Reciprocal Rank Fusion + Reranking
BM25 (esparso, lexical) e embedding cosine (denso, semântico) cada um captura o que o outro perde: BM25 acerta termos exatos e códigos raros, recuperação densa captura paráfrases. Sistemas de produção rodam both e combinam os resultados. O detalhe é que as pontuações deles vivem em escalas totalmente diferentes, então você não pode apenas somá-las. A correção padrão é combinar por rank, não por score.
Reciprocal Rank Fusion (RRF) faz exatamente isso. Cada retriever te dá uma lista ordenada de document ids. A pontuação fundida de um item é a soma, entre as listas, de 1 / (k + rank), onde rank é sua posição baseada em 1 naquela lista e k é uma constante (60 é o padrão comum que suaviza a diferença entre os ranks 1 e 2):
score(item) = sum over lists of 1 / (k + rank_in_that_list)Um item perto do topo de ambos listas coleta duas grandes contribuições e vence. Um item que apenas um retriever encontrou ainda ganha crédito parcial. Depois ordene por fused score descendente. Para determinismo quando dois itens empatarem, desempate pelo item id.
A segunda etapa é reranking. Fusion é barato e aproximado; um cross-encoder lê a consulta e um candidato juntos e pontua a relevância deles diretamente, o que é muito mais acurado mas lento demais para rodar sobre todo o corpus. Então você faz a fusão para obter uma lista curta de candidatos, depois faz o rerank apenas nesses poucos com o modelo caro. Não podemos rodar um cross-encoder real aqui (sem modelo, sem GPU), então você recebe a saída dele como uma score table mapeando cada candidato para sua pontuação de relevância, e você reordena por ela.
Para contexto, uma chamada de reranker real se parece com isso (NÃO usada na correção):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])Construa duas funções. rrf(rank_lists, k=60) recebe uma lista de listas de ids ranqueados e retorna os ids fundidos ordenados por score RRF descendente (empates resolvidos por id). rerank(candidates, score_table) retorna os candidatos reordenados por seu score em score_table descendente (empates resolvidos por id).
Escreva duas funções. rrf(rank_lists, k=60) funde várias listas de id ranqueadas: a pontuação de cada item é a soma sobre as listas de 1 / (k + rank) (o rank é a posição baseada em 1), e você retorna os itens ordenados pela pontuação fundida de forma decrescente, desempatando pelo id do item. rerank(candidates, score_table) retorna candidates reordenado por score_table[item] de forma decrescente, desempatando por id. Um item ranqueado alto em ambas as listas de entrada deve vencer a fusão; fundir dois pares de listas diferentes deve dar ordens diferentes; rerank deve reordenar pela tabela de pontuação; e fundir uma única lista retorna ela inalterada.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.