강의 계획 레슨 250개 중 216번째 · 프로젝트: 고객 지원 코파일럿
프로젝트: 고객 지원 코파일럿

어시스턴트 평가하기 (P@k + 답 정확도 + 관문)

이 레슨이 이력서 한 줄의 뒷부분을 벌어 줘요: 그리고 평가했어요. 누구나 RAG 데모를 연결할 수 있어요. 신입과 운영 어시스턴트를 맡길 만한 사람을 가르는 건 그것을 재고 나쁜 변경이 나가지 못하게 막는 능력이에요. 평가 도구와 회귀 관문을 만들 거예요.

정답 세트에 대해 평가해요: 각 경우에 쿼리, 관련 글의 id, 기대 답 글이 있는 작은 라벨 붙은 리스트. 지표는 두 계열이에요:

  • 검색 품질 -- precision_at_k: 검색기가 돌려준 top-k id 중 관련 있는 비율. 봇이 애초에 올바른 글을 보고 있는지 알려 줘요.
  • 답 품질 -- 만든 답의 기대 글에 대한 정확도, 두 방식으로: contains(기대 조각이 답에 나옴, 대소문자 구분 없음)와 exact(다듬은 정확 일치). contains는 자유 글 답에 너그럽고 현실적인 방식이에요.

이것들을 만드세요:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: 처음 k개 검색 id 중 관련 집합에 있는 비율. 빈 검색에는 0.0. answer_accuracy: 예측 하나에 대해 mode를 따르는 1.0 또는 0.0.

evaluate(config)가 모두 묶어요. config dict에는 gold 리스트, retriever 함수(쿼리 -> 순위 매긴 id), answerer 함수(쿼리 -> 글), 설정 k와 mode가 실려 있어요. 모든 정답 경우를 돌리고 적어도 n(채점한 경우 수), precision_at_k(경우에 걸친 평균, 소수점 4자리 반올림), answer_accuracy(평균, 4자리 반올림)가 있는 dict를 돌려주세요. 빈 정답 세트는 충돌하면 안 돼요 -- 0을 돌려주세요.

regression_gate(old, new)는 풀 리퀘스트에 연결할 CI 경비예요: 새 실행이 관문 지표(기본은 answer_accuracy)에서 나빠지지 않았을 때만 True를 돌려줘요 -- 같거나 나으면 괜찮고, 떨어지면 False를 돌려줘요. 실제로 프롬프트 손질이 조용히 품질을 떨어뜨리는 걸 막는 게 이거예요. Run을 눌러 완벽한 봇과 망가진 봇에 점수를 매기고 관문이 회귀를 멈추는 걸 보세요.

내 차례

라벨 붙은 정답 세트에 대해 평가 도구를 만드세요. 검색에는 precision_at_k(retrieved, relevant, k), 답에는 answer_accuracy(predicted, expected, mode)(contains / exact). evaluate(config)는 (retriever와 answerer 함수, k, mode로) 정답 세트를 돌리고 평균 지표 dict(n, precision_at_k, answer_accuracy)를 돌려주며, 비어도 안전해요. regression_gate(old, new)는 답 정확도가 떨어지지 않았을 때만 True를 돌려줘요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.