캡스톤: 검색 평가 보고서
네 지표가 있어요. 이제 엔지니어가 실제로 내보내는 것에 엮으세요: 레이블 붙은 쿼리 세트를 검색기에 돌려 점수표를 돌려주는 검색 평가 보고서예요. 이력서 한 줄 "RAG 파이프라인을 만들고 평가함" 뒤의 결과물이고, "좋아진 느낌이에요" 대신 "새 검색기가 MRR을 0.62에서 1.0으로 끌어올렸어요"라고 말하게 해 주는 거예요.
장치에는 움직이는 부분이 셋 있어요. 평가 세트는 {"query": "refund policy", "relevant": {"d_refund"}} 같은 dict인 사례들의 리스트예요. 검색기는 문서 ID의 순위 리스트를 돌려주는 아무 호출 가능한 retriever(query, k)예요(직접 넘기니, 같은 보고서로 BM25 기준선, 밀집 검색기, 혼합형을 채점할 수 있어요). 그리고 보고서는 모든 쿼리를 네 지표로 채점한 다음 집계해요.
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...검색된 ID에 대한 NDCG는 단순한 방법으로 순위를 등급 관련성으로 바꾸세요: 문서가 관련 세트에 있으면 1, 아니면 0을 받아요. 만든 함수들을 다시 쓰세요: precision_at_k, recall_at_k, reciprocal_rank, dcg, ndcg_at_k.
만들 것. 다음이 있는 dict를 돌려주는 evaluate_retrieval(eval_set, retriever, k):
mean_precision_at_k,mean_recall_at_k,mrr,mean_ndcg_at_k-> 쿼리들에 걸친 각 지표의 평균, 각각 소수 넷째 자리로round.per_query-> 쿼리마다 한 행으로, 그 쿼리의 지표를 담은pandas.DataFrame(어느 쿼리가 무너졌는지 눈으로 볼 수 있게).failures-> 역순위가0.0이었던(검색기가 관련된 걸 하나도 띄우지 못한) 쿼리의 리스트. 이게 디버깅 할 일 목록이에요.
채점기는 집계 숫자를 손으로 계산한 값과 대조하고, 실패 목록이 덮이지 않은 쿼리를 대는지 확인하고, 더 나은 검색기가 엄격하게 더 높은 점수를 받는다는 걸 증명해요 -> 어떤 상수로도 흉내 낼 수 없는 관계 확인이에요. 완전한 시스템이라면 이제 모델이 이긴 검색기가 돌려준 조각으로 답하겠지만, 그 생성 단계는 파이프라인의 다른 반쪽이에요. 여기서는 검색만 따로 채점해요. 점수표를 출력하려면 실행을 누르세요.
evaluate_retrieval(eval_set, retriever, k)를 쓰세요. eval_set은 {"query", "relevant"} dict의 리스트이고, retriever(query, k)는 문서 ID의 순위 리스트를 돌려줘요. 각 쿼리마다 precision_at_k, recall_at_k, reciprocal_rank, ndcg_at_k를 채점하세요(검색된 문서가 관련 세트에 있으면 관련성 1, 아니면 0으로 다루고, 이상은 관련 세트 전체로 만드세요: 관련 문서마다 1 하나). mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k(각각 소수 넷째 자리로 반올림), per_query pandas DataFrame(쿼리마다 한 행), 그리고 역순위가 0.0이었던 모든 쿼리의 failures 리스트가 있는 dict를 돌려주세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.