Precision@k와 Recall@k
프롬프트 하나를 다듬기 전에 더 어려운 질문에 답하세요: 검색기가 올바른 문서를 찾기는 하나요? RAG 시스템에는 검색과 생성이라는 두 반쪽이 있고, 둘은 다른 방식으로 실패해요. 엉뚱한 조각이 돌아오면 프롬프트를 아무리 다듬어도 구할 수 없어요. 그래서 쿼리마다 관련 문서가 레이블 붙은 세트에 대해, 모든 검색 엔지니어가 외우고 있는 두 숫자로 검색만 따로 재요.
Precision@k는 묻죠: 내가 돌려준 상위 k개 문서 중 실제로 관련 있는 건 얼마나 되나? "사용자에게 쓰레기를 얼마나 보여 줬나"의 지표예요.
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k는 반대를 물어요: 관련 있었던 모든 문서 중 상위 k개 안에 얼마나 띄웠나? "얼마나 놓쳤나"의 지표예요.
recall@k = (relevant docs in the top k) / (total number of relevant docs)구체적인 예로 풀어 보세요. ["a", "b", "c"]를 검색했고 관련 세트가 {"a", "c"}예요. k=3에서 돌려준 문서 셋 중 둘이 관련 있으니 정밀도는 2/3이에요. 관련 문서 둘을 모두 찾았으니 재현율은 1.0이에요. 둘은 긴장 관계로 움직여요: k를 넓히면 재현율은 오르고 정밀도는 보통 떨어져요.
만들 것. 순수 함수 두 개:
precision_at_k(retrieved, relevant, k)-> 검색된 상위k개 ID 중relevant에 있는 것의 비율. 상위k에 실제로 있는 문서 수로 나누세요(그래야 짧은 리스트나 큰k에서도 엉뚱한 숫자로 나누지 않아요).recall_at_k(retrieved, relevant, k)-> 상위k에 잡힌relevant의 비율,len(relevant)로 나눠요.
테스트가 찔러 보는 경계를 보세요: 검색된 리스트보다 큰 k, 그리고 빈 관련 세트(0.0을 돌려주고, 절대 0으로 나누지 마세요). 빠른 포함 확인을 위해 relevant를 집합으로 다루세요. 실제 장치에서는 이것들에 벡터 저장소의 출력을 넣겠지만, 여기서는 레이블 붙은 리스트로 바로 채점해요.
범위에 대한 참고 하나: 이 모듈은 Precision@k, Recall@k, MRR, NDCG를 다뤄요. 검색 팀은 흔히 쿼리 세트에 걸쳐 관련 적중마다 잰 정밀도를 평균내는 MAP(mean average precision)도 보고해요. 여기의 네 지표가 가장 흔한 출발점이에요.
순위 하나를 채점하려면 실행을 누르세요.
precision_at_k(retrieved, relevant, k)(검색된 상위 k개 ID 중 relevant 세트에 있는 것의 비율을 상위 k에 실제로 있는 문서 수로 나눈 것)와 recall_at_k(retrieved, relevant, k)(상위 k에 잡힌 relevant 세트의 비율을 len(relevant)로 나눈 것)를 쓰세요. 둘 다 빈 경계(빈 검색, 빈 관련 세트)에서는 멈추지 말고 0.0을 돌려줘야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.