Hybrid Suche: Reciprocal Rank Fusion + Reranking
BM25 (sparse, lexical) und embedding cosine (dense, semantic) fangen jeweils das ein, was der andere übersieht: BM25 trifft exakte Begriffe und seltene Codes, dense retrieval fängt Paraphrasen ein. Produktionssysteme führen both aus und kombinieren die Ergebnisse. Der Haken ist, dass ihre Scores auf völlig unterschiedlichen Skalen liegen, also kannst du sie nicht einfach addieren. Die Standardlösung ist die Kombination nach rank, nicht nach Score.
Reciprocal Rank Fusion (RRF) macht genau das. Jeder retriever gibt dir eine geordnete Liste von document ids. Der fusionierte Score eines Elements ist die Summe über die Listen von 1 / (k + rank), wobei rank seine 1-basierte Position in dieser Liste ist und k eine Konstante ist (60 ist der übliche Standard, der den Abstand zwischen den Rängen 1 und 2 abmildert):
score(item) = sum over lists of 1 / (k + rank_in_that_list)Ein Element oben in beiden Listen sammelt zwei große Beiträge und gewinnt. Ein Element, das nur ein Retriever gefunden hat, erhält trotzdem einen Teil der Punkte. Sortiere dann nach dem fused score absteigend. Brich bei Gleichstand von zwei Elementen die Tie durch die item id.
Die zweite Stufe ist reranking. Fusion ist günstig und approximativ; ein cross-encoder liest die query und einen candidate zusammen und bewertet deren Relevanz direkt, was viel genauer ist aber zu langsam für das gesamte corpus. Also fusionierst du, um eine kurze candidate list zu erhalten, und rerankst dann nur diese wenigen mit dem teuren Modell. Wir können hier keinen echten cross-encoder ausführen (kein model, keine GPU), also erhältst du dessen output als score table die jeden candidate seiner Relevanzbewertung zuordnet, und du sortierst danach neu.
Zum Kontext sieht ein echter reranker Aufruf so aus (Wird NICHT für die Bewertung verwendet):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])Erstelle zwei Funktionen. rrf(rank_lists, k=60) nimmt eine Liste von gerankten id Listen und gibt die fusionierten ids zurück, sortiert nach absteigendem RRF score (Gleichstände werden durch id aufgelöst). rerank(candidates, score_table) gibt die Kandidaten zurück, neu sortiert nach ihrem Score in score_table absteigend (Gleichstände werden durch id aufgelöst).
Schreibe zwei Funktionen. rrf(rank_lists, k=60) führt mehrere ranked id Listen zusammen: der Score jedes Elements ist die Summe über den Listen von 1 / (k + rank) (der Rang ist eine 1-basierte Position), und du gibst die Elemente sortiert nach dem fused score absteigend zurück, wobei Gleichstände durch die item id aufgelöst werden. rerank(candidates, score_table) gibt candidates zurück, neu sortiert nach score_table[item] absteigend, Gleichstände werden durch die id aufgelöst. Ein Element, das in beiden Eingabelisten hoch eingestuft ist, muss die Fusion gewinnen; das Zusammenführen von zwei verschiedenen Listenpaaren muss unterschiedliche Ordnungen ergeben; rerank muss nach der Score-Tabelle neu ordnen; und das Zusammenführen einer einzelnen Liste gibt diese unverändert zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.