Programme Leçon 148 sur 250 · Embeddings et recherche sémantique depuis zéro
Embeddings et recherche sémantique depuis zéro

BM25 : classement lexical creux

TF-IDF est une excellente référence de base, mais la fonction de classement qui fait vraiment tourner les moteurs de recherche, et la moitié lexicale de la recherche hybride moderne, c'est BM25. Elle garde l'intuition de TF-IDF (les termes rares comptent, les termes répétés comptent) mais corrige deux de ses défauts grâce à des réglages.

Pour un terme de la requête dans un document, BM25 apporte :

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

où tf est le nombre d'occurrences du terme dans le document, dl la longueur du document, et avgdl la longueur moyenne des documents. Le score du document est la somme sur tous les termes de la requête. Trois morceaux font le travail :

  • L'IDF avec le lissage de BM25 : idf = log(1 + (N - n + 0.5) / (n + 0.5)), où N est le nombre de documents et n le nombre de documents qui contiennent le terme. Le + 1 l'empêche de devenir négative.
  • La saturation de la fréquence des termes via k1 (1.5 par défaut) : la 10e occurrence d'un mot ajoute bien moins que la 2e. TF-IDF brut croît linéairement sans fin ; BM25 plafonne.
  • La normalisation par la longueur via b (0.75 par défaut) : on s'attend à ce qu'un long document contienne plus souvent un terme rien que parce qu'il est long, donc son score est réduit. Entre deux documents avec le même tf, le plus court est classé plus haut.

Un terme qui n'apparaît dans aucun document n'apporte rien, et un document à qui il manque tous les termes de la requête obtient exactement 0.0. Ce zéro est essentiel : c'est ce qui te dit qu'un document n'est pas pertinent.

Tu vas travailler sur des documents déjà découpés en tokens (des listes de mots) pour te concentrer sur les maths, pas sur le découpage. Utilise math.log (logarithme naturel) ; la base ne fait que multiplier tous les scores par une constante et ne change pas le classement.

Construis bm25_scores(query, corpus_tokens, k1=1.5, b=0.75), où query est une liste de termes de requête et corpus_tokens une liste de documents découpés en tokens. Renvoie une liste de scores BM25, un par document, dans l'ordre du corpus.

À ton tour

Écris bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) qui implémente la fonction de classement BM25. query est une liste de termes ; corpus_tokens est une liste de documents découpés en tokens (chacun une liste de mots). Pour chaque document, fais la somme sur les termes uniques de la requête : idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), avec idf = log(1 + (N - n + 0.5) / (n + 0.5)). Renvoie une liste de scores dans l'ordre du corpus. Un document avec plus d'occurrences d'un terme de la requête obtient un score plus élevé ; un document sans aucune obtient 0.0 ; à fréquence de terme égale, le document le plus long obtient moins ; deux documents identiques obtiennent le même score.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.