Recherche hybride : fusion par rang réciproque + reclassement
BM25 (creux, lexical) et le cosinus des embeddings (dense, sémantique) attrapent chacun ce que l'autre rate : BM25 repère les termes exacts et les codes rares, la recherche dense attrape les paraphrases. Les systèmes en production font tourner les deux et combinent les résultats. Le hic, c'est que leurs scores vivent sur des échelles complètement différentes, donc tu ne peux pas simplement les additionner. La solution standard est de combiner par rang, pas par score.
La fusion par rang réciproque (RRF) fait exactement ça. Chaque moteur de recherche te donne une liste ordonnée d'identifiants de documents. Le score fusionné d'un élément est la somme, sur les listes, de 1 / (k + rank), où rank est sa position (à partir de 1) dans cette liste et k une constante (60 est la valeur par défaut courante, qui adoucit l'écart entre les rangs 1 et 2) :
score(item) = sum over lists of 1 / (k + rank_in_that_list)Un élément proche du haut des deux listes récolte deux grosses contributions et gagne. Un élément qu'un seul moteur a trouvé obtient quand même une partie des points. Ensuite, trie par score fusionné décroissant. Pour rester déterministe quand deux éléments sont à égalité, départage-les par leur identifiant.
La deuxième étape est le reclassement. La fusion est bon marché et approximative ; un cross-encoder lit la requête et un candidat ensemble et note directement leur pertinence, ce qui est bien plus précis mais trop lent pour tout le corpus. Donc tu fusionnes pour obtenir une courte liste de candidats, puis tu reclasses seulement ceux-là avec le modèle coûteux. On ne peut pas faire tourner un vrai cross-encoder ici (pas de modèle, pas de GPU), donc on te donne sa sortie sous forme de table de scores qui associe chaque candidat à son score de pertinence, et tu retries selon elle.
Pour le contexte, voici à quoi ressemble un vrai appel de reclassement (PAS utilisé pour la notation) :
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])Construis deux fonctions. rrf(rank_lists, k=60) prend une liste de listes d'identifiants classés et renvoie les identifiants fusionnés, triés par score RRF décroissant (égalités départagées par l'identifiant). rerank(candidates, score_table) renvoie les candidats retriés par leur score dans score_table, de façon décroissante (égalités départagées par l'identifiant).
Écris deux fonctions. rrf(rank_lists, k=60) fusionne plusieurs listes d'identifiants classés : le score de chaque élément est la somme sur les listes de 1 / (k + rank) (rank est la position à partir de 1), et tu renvoies les éléments triés par score fusionné décroissant, en départageant les égalités par l'identifiant. rerank(candidates, score_table) renvoie candidates retrié par score_table[item] décroissant, égalités départagées par l'identifiant. Un élément classé haut dans les deux listes d'entrée doit gagner la fusion ; fusionner deux paires de listes différentes doit donner des ordres différents ; rerank doit réordonner selon la table de scores ; et fusionner une seule liste la renvoie inchangée.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.