BM25: 희소 어휘적 순위
TF-IDF는 훌륭한 기준선이지만, 검색 엔진과 현대 혼합 검색의 어휘적 반쪽을 실제로 움직이는 순위 함수는 BM25예요. TF-IDF의 본능(드문 항이 중요하고, 반복된 항이 중요하다)을 지키면서 조절 가능한 손잡이로 두 가지 결함을 고쳐요.
문서 속 쿼리 항 하나에 대해 BM25가 기여하는 것:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )여기서 tf는 항이 문서에 나오는 횟수, dl은 문서 길이, avgdl은 평균 문서 길이예요. 문서 점수는 모든 쿼리 항에 대한 합이에요. 세 조각이 일을 해요:
- BM25 평활을 쓴 IDF:
idf = log(1 + (N - n + 0.5) / (n + 0.5)).N은 문서 수,n은 그 항을 담은 문서 수예요.+ 1이 음수가 되지 않게 막아요. k1(기본 1.5)을 통한 단어 빈도 포화: 단어의 10번째 등장은 2번째보다 훨씬 적게 더해요. 날것의 TF-IDF는 영원히 선형으로 자라지만, BM25는 평평해져요.b(기본 0.75)를 통한 길이 정규화: 긴 문서는 길다는 것만으로 항을 더 자주 담으리라 기대되니 점수가 할인돼요.tf가 같은 두 문서는 짧은 쪽을 더 높이 매겨요.
어떤 문서에도 나오지 않는 항은 아무것도 기여하지 않고, 쿼리 항을 하나도 담지 않은 문서는 정확히 0.0을 받아요. 그 0이 짐을 지고 있어요: 문서가 무관하다는 걸 그렇게 알아요.
계산에 집중하도록, 토큰화가 아니라 토큰화된 문서(단어의 리스트) 위에서 작업해요. math.log(자연로그)를 쓰세요. 밑은 모든 점수를 상수배할 뿐 순위를 바꾸지 않아요.
query가 쿼리 항의 리스트이고 corpus_tokens가 토큰화된 문서의 리스트인 bm25_scores(query, corpus_tokens, k1=1.5, b=0.75)를 만드세요. 말뭉치 순서로 문서마다 하나씩 BM25 점수의 리스트를 돌려주세요.
BM25 순위 함수를 구현하는 bm25_scores(query, corpus_tokens, k1=1.5, b=0.75)를 쓰세요. query는 항의 리스트이고, corpus_tokens는 토큰화된 문서(각각 단어의 리스트)의 리스트예요. 각 문서에 대해 유일한 쿼리 항에 걸쳐 더하세요: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), 그리고 idf = log(1 + (N - n + 0.5) / (n + 0.5)). 말뭉치 순서로 점수의 리스트를 돌려주세요. 쿼리 항이 더 많이 나오는 문서가 더 높은 점수를 받고, 하나도 없는 문서는 0.0을 받고, 단어 빈도가 같으면 긴 문서가 더 낮은 점수를 받고, 똑같은 두 문서는 똑같은 점수를 받아요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.