강의 계획 레슨 250개 중 162번째 · RAG와 검색 평가하기
RAG와 검색 평가하기

평균 역순위

정밀도와 재현율은 상위 k를 자루처럼 다뤄요: 1위의 관련 문서나 5위의 관련 문서나 똑같이 세요. 하지만 순위는 중요해요. 사용자는 위에서부터 읽고, RAG 프롬프트는 보통 첫 조각에 가장 크게 기대요. 평균 역순위(MRR)는 관련 결과를 높이 올린 것에 보상해요.

쿼리 하나에 대한 역순위는 순위를 1부터 세서 1 / (rank of the first relevant doc)(첫 관련 문서의 순위)예요. 첫 관련 문서가 1위면 1.0, 2위면 0.5, 3위면 1/3을 받아요. 관련 문서가 아예 나오지 않으면 점수는 0.0이에요. 첫 적중만 중요하고, 이게 바로 "답이 사용자(나 모델)가 볼 곳에 나타났나?"에 맞는 모형이에요.

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR은 쿼리 세트 전체에 걸친 그 역순위들의 평균일 뿐이에요. 1.0과 0.5를 받은 두 쿼리는 MRR 0.75를 줘요. 쿼리마다 보통 맨 먼저 띄우고 싶은 정답 하나가 있는 질문 답변 검색의 표준 대표 숫자예요.

만들 것.

  • reciprocal_rank(retrieved, relevant) -> 순위 리스트를 돌다가 relevant에 있는 문서를 만나는 순간 1.0 / rank를 돌려줘요(순위는 1부터). 하나도 만나지 않으면 0.0을 돌려줘요.
  • mrr(queries) -> queries는 (retrieved, relevant) 쌍의 리스트예요. 각 쌍의 역순위를 평균내요. 빈 리스트는 멈추지 말고 0.0을 돌려줘요.

enumerate(retrieved, start=1)을 쓰면 인덱스가 곧 순위예요. 쿼리 두 개를 채점하고 평균을 보려면 실행을 누르세요.

내 차례

순위를 1부터 세서 1.0 / (rank of the first relevant doc)(첫 관련 문서의 순위)를, 관련 문서가 검색되지 않으면 0.0을 돌려주는 reciprocal_rank(retrieved, relevant)를 쓰세요. 그다음 queries가 (retrieved, relevant) 쌍의 리스트인 mrr(queries)를 쓰고, 그 역순위들의 평균을 돌려주세요(빈 리스트면 0.0).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.