Hybride Zoekopdracht: Reciprocal Rank Fusion + Reranking
BM25 (sparse, lexical) en embedding cosine (dense, semantic) vangen elk wat de ander mist: BM25 pakt exacte termen en zeldzame codes, dense retrieval pakt parafrases. Productiesystemen draaien both en combineren de resultaten. Het probleem is dat hun scores op totaal verschillende schalen staan, dus kun je ze niet gewoon optellen. De standaard oplossing is om te combineren door rank, niet score.
Reciprocal Rank Fusion (RRF) doet precies dat. Elke retriever geeft je een geordende lijst van document ids. De gefuseerde score van een item is de som, over de lijsten, van 1 / (k + rank), waarbij rank zijn 1-gebaseerde positie in die lijst is en k een constante is (60 is de gebruikelijke standaard die het verschil tussen rang 1 en 2 verzacht):
score(item) = sum over lists of 1 / (k + rank_in_that_list)Een item bovenaan beide lijsten verzamelt twee grote bijdragen en wint. Een item dat slechts één retriever vond krijgt nog steeds gedeeltelijke punten. Sorteer daarna op gefuseerde score aflopend. Voor determinisme bij een gelijkspel tussen twee items, gebruik dan de item id om de strijd te beslechten.
De tweede fase is reranking. Fusion is goedkoop en benaderd; een cross-encoder leest de query en een kandidaat samen en scoort hun relevantie direct, wat veel nauwkeuriger is maar te traag om over de hele corpus te draaien. Dus je fuseert om een korte kandidaat lijst te krijgen, dan rerank je alleen die paar met het dure model. We kunnen hier geen echte cross-encoder draaien (geen model, geen GPU), dus je krijgt de output ervan als een score table die elke kandidaat koppelt aan zijn relevantiescore, en je sorteert opnieuw op basis daarvan.
Ter context, een echte reranker call ziet er zo uit (NIET gebruikt voor beoordeling):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])Bouw twee functies. rrf(rank_lists, k=60) neemt een lijst van gerangschikte id-lijsten en geeft de samengevoegde ids terug gesorteerd op RRF-score aflopend (gelijke scores worden afgehandeld door id). rerank(candidates, score_table) geeft de kandidaten terug opnieuw gesorteerd op hun score in score_table aflopend (gelijke scores worden afgehandeld door id).
Schrijf twee functies. rrf(rank_lists, k=60) voegt verschillende gerangschikte id-lijsten samen: de score van elk item is de som over de lijsten van 1 / (k + rank) (rang is 1-gebaseerde positie), en je geeft de items terug gesorteerd op gefuseerde score aflopend, bij gelijke scores wordt de volgorde bepaald door item id. rerank(candidates, score_table) geeft candidates terug opnieuw gesorteerd op score_table[item] aflopend, bij gelijke scores wordt de volgorde bepaald door id. Een item dat hoog gerangschikt is in beide invoerlijsten moet winnen bij de fusie; het fuseren van twee verschillende lijstparen moet verschillende volgordes geven; rerank moet opnieuw sorteren op de scoretabel; en het fuseren van een enkele lijst geeft deze onveranderd terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.