강의 계획 레슨 250개 중 163번째 · RAG와 검색 평가하기
RAG와 검색 평가하기

NDCG@k: 등급이 있는 관련성

정밀도, 재현율, MRR은 모두 관련성을 예/아니오 표시로 다뤄요. 하지만 실제 관련성에는 농담이 있어요: 문서는 완벽하거나, 어느 정도 쓸모 있거나, 주제를 벗어날 수 있어요. NDCG(Normalized Discounted Cumulative Gain)는 등급이 있는 관련성을 위한 지표이고, 큰 검색과 추천 팀이 실제로 보고하는 거예요.

세 가지 생각이 쌓여 있어요. 첫째, 이득: 각 결과에 관련성 점수가 있어요(예: 3 = 완벽, 1 = 미미, 0 = 무관). 둘째, 위치에 따른 할인: 10위에 묻힌 훌륭한 결과는 1위의 결과보다 덜 도움이 되니까요. 할인 누적 이득은 각 결과의 이득을 log2(position + 1)로 나눈 것을 더해요:

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

1위에서 나누는 수는 log2(2) = 1(할인 없음)이고, 2위에서는 log2(3), 그런 식으로 뒤 위치일수록 꾸준히 값이 줄어요. 셋째, 정규화: DCG 자체는 상한이 없어서 쿼리끼리 비교하기 어려우니, 이상적 DCG(IDCG), 즉 같은 관련성 점수를 가장 좋은 것에서 가장 나쁜 것 순으로 정렬했을 때 얻을 DCG로 나눠요.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

그러면 모든 쿼리가 0.0에서 1.0 척도에 놓이고, 1.0은 "이미 가능한 최선의 순서"를 뜻해요. 뒤집힌 순위는 엄격하게 1.0 아래를 받고, 모두 0인(관련된 게 없는) 순위는 0.0으로 정의해요.

만들 것.

  • dcg(rels) -> 관련성 점수 리스트의 할인 누적 이득. i를 1부터 시작해 math.log2(i + 1)을 써요.
  • ndcg_at_k(ranked_rels, k) -> 상위 k의 dcg를, 같은 점수를 내림차순으로 정렬한 것(이상)의 상위 k의 dcg로 나눈 것. 이상적 DCG가 0이면 0으로 나누지 말고 0.0을 돌려줘요.

하나를 손으로 확인해 보세요: dcg([3, 0, 2])는 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0이에요. 완벽한 순서와 뒤집힌 순서를 비교하려면 실행을 누르세요.

내 차례

위치 i를 1부터 세서 할인 누적 이득 sum(rel_i / log2(i + 1))을 돌려주는 dcg(rels)를 쓰세요. 그다음 상위 k의 dcg를 이상적 DCG로 나눈 값을 돌려주는 ndcg_at_k(ranked_rels, k, ideal_rels=None)를 쓰세요. 이상적 DCG는 판정된 모든 문서의 관련성 점수를 내림차순으로 정렬한 것의 상위 k예요. 그 점수는 ideal_rels가 주어지면 거기서 오고, None이면 ranked_rels 자체를 써요(순위가 이미 모든 관련 문서를 담고 있을 때만 괜찮아요). 검색된 리스트만으로 이상을 잡는 건 고전적인 버그예요: 관련 문서 3개 중 1개를 1위에서 찾은 시스템이 완벽한 1.0을 받게 돼요. 모두 0인 순위가 0으로 나누지 않도록, 이상적 DCG가 0이면 0.0을 return 하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.