강의 계획 레슨 250개 중 149번째 · 처음부터 만드는 임베딩과 의미 검색
처음부터 만드는 임베딩과 의미 검색

혼합 검색: 역순위 융합 + 재순위

BM25(희소, 어휘적)와 임베딩 코사인(밀집, 의미적)은 서로가 놓치는 것을 잡아요: BM25는 정확한 항과 드문 코드를 잡고, 밀집 검색은 바꿔 말한 표현을 잡아요. 실무 시스템은 둘 다 돌리고 결과를 합쳐요. 걸림돌은 두 점수가 완전히 다른 척도에 산다는 거라서, 그냥 더할 수 없어요. 표준 해결책은 점수가 아니라 순위로 합치는 거예요.

역순위 융합(RRF)이 바로 그 일을 해요. 각 검색기는 문서 id의 순서 있는 리스트를 줘요. 항목의 융합 점수는 리스트들에 걸친 1 / (k + rank)의 합으로, rank는 그 리스트에서의 1부터 센 위치이고 k는 상수예요(60이 1위와 2위의 틈을 누그러뜨리는 흔한 기본값이에요):

score(item) = sum over lists of  1 / (k + rank_in_that_list)

두 리스트 모두의 위쪽에 있는 항목은 큰 기여를 두 번 모아 이겨요. 한 검색기만 찾은 항목도 부분 점수를 받아요. 그다음 융합 점수 내림차순으로 정렬해요. 두 항목이 동점일 때 결정성을 위해 항목 id로 동점을 깨세요.

두 번째 단계는 재순위예요. 융합은 싸고 대략적이에요. 교차 인코더는 쿼리와 후보를 함께 읽고 그 관련성을 직접 채점해서 훨씬 정확하지만, 말뭉치 전체에 돌리기에는 너무 느려요. 그래서 융합으로 짧은 후보 리스트를 얻은 다음, 그 몇 개만 비싼 모델로 재순위해요. 여기서는 진짜 교차 인코더를 돌릴 수 없으니(모델도 GPU도 없어요), 그 출력을 각 후보를 관련성 점수에 대응시키는 점수 표로 받고, 그것으로 다시 정렬해요.

맥락을 위해, 진짜 재순위기 호출은 이렇게 생겼어요(채점에는 쓰지 않아요):

# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])

함수 두 개를 만드세요. rrf(rank_lists, k=60)는 순위 매긴 id 리스트의 리스트를 받아 RRF 점수 내림차순으로(동점은 id로 깨서) 정렬한 융합 id를 돌려줘요. rerank(candidates, score_table)는 score_table의 점수 내림차순으로(동점은 id로 깨서) 다시 정렬한 후보를 돌려줘요.

내 차례

함수 두 개를 쓰세요. rrf(rank_lists, k=60)는 순위 매긴 id 리스트 여러 개를 융합해요: 각 항목의 점수는 리스트들에 걸친 1 / (k + rank)의 합이고(rank는 1부터 센 위치), 융합 점수 내림차순으로 항목 id로 동점을 깨서 항목들을 돌려줘요. rerank(candidates, score_table)는 score_table[item] 내림차순으로, id로 동점을 깨서 다시 정렬한 candidates를 돌려줘요. 두 입력 리스트 모두에서 높은 항목이 융합에서 이겨야 하고, 서로 다른 두 리스트 쌍을 융합하면 다른 순서가 나와야 하고, rerank는 점수 표로 다시 정렬해야 하고, 리스트 하나를 융합하면 그대로 돌아와야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.