BM25 : classement lexical creux
TF-IDF est une excellente référence de base, mais la fonction de classement qui fait vraiment tourner les moteurs de recherche, et la moitié lexicale de la recherche hybride moderne, c'est BM25. Elle garde l'intuition de TF-IDF (les termes rares comptent, les termes répétés comptent) mais corrige deux de ses défauts grâce à des réglages.
Pour un terme de la requête dans un document, BM25 apporte :
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )où tf est le nombre d'occurrences du terme dans le document, dl la longueur du document, et avgdl la longueur moyenne des documents. Le score du document est la somme sur tous les termes de la requête. Trois morceaux font le travail :
- L'IDF avec le lissage de BM25 :
idf = log(1 + (N - n + 0.5) / (n + 0.5)), oùNest le nombre de documents etnle nombre de documents qui contiennent le terme. Le+ 1l'empêche de devenir négative. - La saturation de la fréquence des termes via
k1(1.5 par défaut) : la 10e occurrence d'un mot ajoute bien moins que la 2e. TF-IDF brut croît linéairement sans fin ; BM25 plafonne. - La normalisation par la longueur via
b(0.75 par défaut) : on s'attend à ce qu'un long document contienne plus souvent un terme rien que parce qu'il est long, donc son score est réduit. Entre deux documents avec le mêmetf, le plus court est classé plus haut.
Un terme qui n'apparaît dans aucun document n'apporte rien, et un document à qui il manque tous les termes de la requête obtient exactement 0.0. Ce zéro est essentiel : c'est ce qui te dit qu'un document n'est pas pertinent.
Tu vas travailler sur des documents déjà découpés en tokens (des listes de mots) pour te concentrer sur les maths, pas sur le découpage. Utilise math.log (logarithme naturel) ; la base ne fait que multiplier tous les scores par une constante et ne change pas le classement.
Construis bm25_scores(query, corpus_tokens, k1=1.5, b=0.75), où query est une liste de termes de requête et corpus_tokens une liste de documents découpés en tokens. Renvoie une liste de scores BM25, un par document, dans l'ordre du corpus.
Écris bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) qui implémente la fonction de classement BM25. query est une liste de termes ; corpus_tokens est une liste de documents découpés en tokens (chacun une liste de mots). Pour chaque document, fais la somme sur les termes uniques de la requête : idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), avec idf = log(1 + (N - n + 0.5) / (n + 0.5)). Renvoie une liste de scores dans l'ordre du corpus. Un document avec plus d'occurrences d'un terme de la requête obtient un score plus élevé ; un document sans aucune obtient 0.0 ; à fréquence de terme égale, le document le plus long obtient moins ; deux documents identiques obtiennent le même score.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.