BM25: Ranking Léxico Esparso
TF-IDF é uma ótima referência, mas a função de ranking que realmente alimenta motores de busca e a metade lexical da recuperação híbrida moderna é BM25. Ela mantém o instinto do TF-IDF (termos raros importam, termos repetidos importam) mas corrige dois de seus defeitos com botões ajustáveis.
Para um termo de consulta em um documento, o BM25 contribui:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )onde tf é quantas vezes o termo aparece no documento, dl é o comprimento do documento, e avgdl é o comprimento médio do documento. A pontuação do documento é a soma sobre todos os termos da consulta. Três partes fazem o trabalho:
- IDF com o suavizamento BM25:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), ondeNé o número de documentos ené quantos documentos contêm o termo. O+ 1impede que ele fique negativo. - Saturação de frequência de termos via
k1(padrão 1.5): a 10ª ocorrência de uma palavra adiciona muito menos que a 2ª. O TF-IDF bruto cresce linearmente para sempre; o BM25 se achata. - Normalização de comprimento via
b(padrão 0.75): espera-se que um documento longo contenha um termo com mais frequência apenas por ser longo, então sua pontuação é reduzida. Dois documentos com o mesmotfclassificam o mais curto como superior.
A que aparece em no não contribui com nada, e um documento que não tem nenhum termo da consulta recebe exatamente 0.0. Esse zero é fundamental: é assim que você sabe que um documento é irrelevante.
Você vai trabalhar com tokenized documentos (listas de palavras) para que a matemática seja o foco, não a tokenização. Use math.log (logaritmo natural); a base apenas escala todos os scores por uma constante e não muda o ranking.
Build bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) onde query é uma lista de termos de consulta e corpus_tokens é uma lista de documentos tokenizados. Retorne uma lista de scores BM25, um por documento, na ordem do corpus.
Escreva bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) implementando a função de ranking BM25. query é uma lista de termos; corpus_tokens é uma lista de documentos tokenizados (cada um uma lista de palavras). Para cada documento, some sobre os termos únicos da consulta: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), com idf = log(1 + (N - n + 0.5) / (n + 0.5)). Retorne uma lista de scores na ordem do corpus. Um documento com mais ocorrências de um termo da consulta ganha um score maior; um documento sem nenhum ganha 0.0; com frequência de termos igual, o documento mais longo ganha um score menor; dois documentos idênticos ganham scores idênticos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.