강의 계획 레슨 250개 중 164번째 · RAG와 검색 평가하기
RAG와 검색 평가하기

캡스톤: 검색 평가 보고서

네 지표가 있어요. 이제 엔지니어가 실제로 내보내는 것에 엮으세요: 레이블 붙은 쿼리 세트를 검색기에 돌려 점수표를 돌려주는 검색 평가 보고서예요. 이력서 한 줄 "RAG 파이프라인을 만들고 평가함" 뒤의 결과물이고, "좋아진 느낌이에요" 대신 "새 검색기가 MRR을 0.62에서 1.0으로 끌어올렸어요"라고 말하게 해 주는 거예요.

장치에는 움직이는 부분이 셋 있어요. 평가 세트는 {"query": "refund policy", "relevant": {"d_refund"}} 같은 dict인 사례들의 리스트예요. 검색기는 문서 ID의 순위 리스트를 돌려주는 아무 호출 가능한 retriever(query, k)예요(직접 넘기니, 같은 보고서로 BM25 기준선, 밀집 검색기, 혼합형을 채점할 수 있어요). 그리고 보고서는 모든 쿼리를 네 지표로 채점한 다음 집계해요.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

검색된 ID에 대한 NDCG는 단순한 방법으로 순위를 등급 관련성으로 바꾸세요: 문서가 관련 세트에 있으면 1, 아니면 0을 받아요. 만든 함수들을 다시 쓰세요: precision_at_k, recall_at_k, reciprocal_rank, dcg, ndcg_at_k.

만들 것. 다음이 있는 dict를 돌려주는 evaluate_retrieval(eval_set, retriever, k):

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> 쿼리들에 걸친 각 지표의 평균, 각각 소수 넷째 자리로 round.
  • per_query -> 쿼리마다 한 행으로, 그 쿼리의 지표를 담은 pandas.DataFrame(어느 쿼리가 무너졌는지 눈으로 볼 수 있게).
  • failures -> 역순위가 0.0이었던(검색기가 관련된 걸 하나도 띄우지 못한) 쿼리의 리스트. 이게 디버깅 할 일 목록이에요.

채점기는 집계 숫자를 손으로 계산한 값과 대조하고, 실패 목록이 덮이지 않은 쿼리를 대는지 확인하고, 더 나은 검색기가 엄격하게 더 높은 점수를 받는다는 걸 증명해요 -> 어떤 상수로도 흉내 낼 수 없는 관계 확인이에요. 완전한 시스템이라면 이제 모델이 이긴 검색기가 돌려준 조각으로 답하겠지만, 그 생성 단계는 파이프라인의 다른 반쪽이에요. 여기서는 검색만 따로 채점해요. 점수표를 출력하려면 실행을 누르세요.

내 차례

evaluate_retrieval(eval_set, retriever, k)를 쓰세요. eval_set은 {"query", "relevant"} dict의 리스트이고, retriever(query, k)는 문서 ID의 순위 리스트를 돌려줘요. 각 쿼리마다 precision_at_k, recall_at_k, reciprocal_rank, ndcg_at_k를 채점하세요(검색된 문서가 관련 세트에 있으면 관련성 1, 아니면 0으로 다루고, 이상은 관련 세트 전체로 만드세요: 관련 문서마다 1 하나). mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k(각각 소수 넷째 자리로 반올림), per_query pandas DataFrame(쿼리마다 한 행), 그리고 역순위가 0.0이었던 모든 쿼리의 failures 리스트가 있는 dict를 돌려주세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.