Conteúdo do curso Lição 148 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

BM25: Ranking Léxico Esparso

TF-IDF é uma ótima referência, mas a função de ranking que realmente alimenta motores de busca e a metade lexical da recuperação híbrida moderna é BM25. Ela mantém o instinto do TF-IDF (termos raros importam, termos repetidos importam) mas corrige dois de seus defeitos com botões ajustáveis.

Para um termo de consulta em um documento, o BM25 contribui:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

onde tf é quantas vezes o termo aparece no documento, dl é o comprimento do documento, e avgdl é o comprimento médio do documento. A pontuação do documento é a soma sobre todos os termos da consulta. Três partes fazem o trabalho:

  • IDF com o suavizamento BM25: idf = log(1 + (N - n + 0.5) / (n + 0.5)), onde N é o número de documentos e n é quantos documentos contêm o termo. O + 1 impede que ele fique negativo.
  • Saturação de frequência de termos via k1 (padrão 1.5): a 10ª ocorrência de uma palavra adiciona muito menos que a 2ª. O TF-IDF bruto cresce linearmente para sempre; o BM25 se achata.
  • Normalização de comprimento via b (padrão 0.75): espera-se que um documento longo contenha um termo com mais frequência apenas por ser longo, então sua pontuação é reduzida. Dois documentos com o mesmo tf classificam o mais curto como superior.
O termo

A que aparece em no não contribui com nada, e um documento que não tem nenhum termo da consulta recebe exatamente 0.0. Esse zero é fundamental: é assim que você sabe que um documento é irrelevante.

Você vai trabalhar com tokenized documentos (listas de palavras) para que a matemática seja o foco, não a tokenização. Use math.log (logaritmo natural); a base apenas escala todos os scores por uma constante e não muda o ranking.

Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) onde query é uma lista de termos de consulta e corpus_tokens é uma lista de documentos tokenizados. Retorne uma lista de scores BM25, um por documento, na ordem do corpus.

Sua vez

Escreva bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) implementando a função de ranking BM25. query é uma lista de termos; corpus_tokens é uma lista de documentos tokenizados (cada um uma lista de palavras). Para cada documento, some sobre os termos únicos da consulta: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), com idf = log(1 + (N - n + 0.5) / (n + 0.5)). Retorne uma lista de scores na ordem do corpus. Um documento com mais ocorrências de um termo da consulta ganha um score maior; um documento sem nenhum ganha 0.0; com frequência de termos igual, o documento mais longo ganha um score menor; dois documentos idênticos ganham scores idênticos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.