NDCG@k: 등급이 있는 관련성
정밀도, 재현율, MRR은 모두 관련성을 예/아니오 표시로 다뤄요. 하지만 실제 관련성에는 농담이 있어요: 문서는 완벽하거나, 어느 정도 쓸모 있거나, 주제를 벗어날 수 있어요. NDCG(Normalized Discounted Cumulative Gain)는 등급이 있는 관련성을 위한 지표이고, 큰 검색과 추천 팀이 실제로 보고하는 거예요.
세 가지 생각이 쌓여 있어요. 첫째, 이득: 각 결과에 관련성 점수가 있어요(예: 3 = 완벽, 1 = 미미, 0 = 무관). 둘째, 위치에 따른 할인: 10위에 묻힌 훌륭한 결과는 1위의 결과보다 덜 도움이 되니까요. 할인 누적 이득은 각 결과의 이득을 log2(position + 1)로 나눈 것을 더해요:
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...1위에서 나누는 수는 log2(2) = 1(할인 없음)이고, 2위에서는 log2(3), 그런 식으로 뒤 위치일수록 꾸준히 값이 줄어요. 셋째, 정규화: DCG 자체는 상한이 없어서 쿼리끼리 비교하기 어려우니, 이상적 DCG(IDCG), 즉 같은 관련성 점수를 가장 좋은 것에서 가장 나쁜 것 순으로 정렬했을 때 얻을 DCG로 나눠요.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)그러면 모든 쿼리가 0.0에서 1.0 척도에 놓이고, 1.0은 "이미 가능한 최선의 순서"를 뜻해요. 뒤집힌 순위는 엄격하게 1.0 아래를 받고, 모두 0인(관련된 게 없는) 순위는 0.0으로 정의해요.
만들 것.
dcg(rels)-> 관련성 점수 리스트의 할인 누적 이득.i를 1부터 시작해math.log2(i + 1)을 써요.ndcg_at_k(ranked_rels, k)-> 상위k의dcg를, 같은 점수를 내림차순으로 정렬한 것(이상)의 상위k의dcg로 나눈 것. 이상적 DCG가0이면 0으로 나누지 말고0.0을 돌려줘요.
하나를 손으로 확인해 보세요: dcg([3, 0, 2])는 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0이에요. 완벽한 순서와 뒤집힌 순서를 비교하려면 실행을 누르세요.
위치 i를 1부터 세서 할인 누적 이득 sum(rel_i / log2(i + 1))을 돌려주는 dcg(rels)를 쓰세요. 그다음 상위 k의 dcg를 이상적 DCG로 나눈 값을 돌려주는 ndcg_at_k(ranked_rels, k, ideal_rels=None)를 쓰세요. 이상적 DCG는 판정된 모든 문서의 관련성 점수를 내림차순으로 정렬한 것의 상위 k예요. 그 점수는 ideal_rels가 주어지면 거기서 오고, None이면 ranked_rels 자체를 써요(순위가 이미 모든 관련 문서를 담고 있을 때만 괜찮아요). 검색된 리스트만으로 이상을 잡는 건 고전적인 버그예요: 관련 문서 3개 중 1개를 1위에서 찾은 시스템이 완벽한 1.0을 받게 돼요. 모두 0인 순위가 0으로 나누지 않도록, 이상적 DCG가 0이면 0.0을 return 하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.