Temario Lección 148 de 250 · Embeddings y búsqueda semántica desde cero
Embeddings y búsqueda semántica desde cero

BM25: ordenación léxica dispersa

TF-IDF es una gran referencia, pero la función de ordenación que de verdad mueve los buscadores y la mitad léxica de la recuperación híbrida moderna es BM25. Mantiene el instinto de TF-IDF (los términos raros importan, los términos repetidos importan) pero corrige dos de sus defectos con parámetros ajustables.

Para un término de la consulta en un documento, BM25 aporta:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

donde tf es cuántas veces aparece el término en el documento, dl es la longitud del documento y avgdl es la longitud media de los documentos. La puntuación del documento es la suma sobre todos los términos de la consulta. Tres piezas hacen el trabajo:

  • IDF con el suavizado de BM25: idf = log(1 + (N - n + 0.5) / (n + 0.5)), donde N es el número de documentos y n es cuántos documentos contienen el término. El + 1 evita que sea negativo.
  • Saturación de la frecuencia del término mediante k1 (por defecto 1.5): la décima aparición de una palabra aporta mucho menos que la segunda. TF-IDF en bruto crece linealmente sin fin; BM25 se aplana.
  • Normalización por longitud mediante b (por defecto 0.75): se espera que un documento largo contenga un término más a menudo solo por ser largo, así que su puntuación se descuenta. De dos documentos con el mismo tf, el más corto queda por delante.

Un término que no aparece en ningún documento no aporta nada, y un documento al que le faltan todos los términos de la consulta puntúa exactamente 0.0. Ese cero es fundamental: es como sabes que un documento no es relevante.

Trabajarás sobre documentos tokenizados (listas de palabras) para que el foco esté en las matemáticas y no en la tokenización. Usa math.log (logaritmo natural); la base solo escala todas las puntuaciones por una constante y no cambia la ordenación.

Construye bm25_scores(query, corpus_tokens, k1=1.5, b=0.75), donde query es una lista de términos de consulta y corpus_tokens es una lista de documentos tokenizados. Devuelve una lista de puntuaciones BM25, una por documento, en el orden del corpus.

Tu turno

Escribe bm25_scores(query, corpus_tokens, k1=1.5, b=0.75), que implemente la función de ordenación BM25. query es una lista de términos; corpus_tokens es una lista de documentos tokenizados (cada uno, una lista de palabras). Para cada documento, suma sobre los términos únicos de la consulta: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), con idf = log(1 + (N - n + 0.5) / (n + 0.5)). Devuelve una lista de puntuaciones en el orden del corpus. Un documento con más apariciones de un término de la consulta puntúa más alto; un documento sin ninguna puntúa 0.0; con igual frecuencia del término, el documento más largo puntúa más bajo; dos documentos idénticos puntúan igual.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.