강의 계획 레슨 250개 중 169번째 · LLM 평가와 테스트
LLM 평가와 테스트

LLM 심사관 (기준표 만들기 + 판정 파싱)

정확 일치, F1, ROUGE는 모두 비교할 정답이 필요해요. 하지만 열린 출력, "이 설명은 분명했나?", "말투가 전문적이었나?"에는 하나의 맞는 문자열이 없어요. 업계가 정착한 확장 가능한 답은 LLM 심사관이에요: 두 번째 모델에게 답과 기준표를 주고 기준마다 점수를 매기라고 해요. 잘 정의된 기준표에서는 흔히 사람 평가자와 80-90% 일치 범위에 들지만, 과제에 따라 크게 달라지고 미묘하거나 적대적인 경우에는 급격히 떨어질 수 있으니, 어떤 숫자든 법칙이 아니라 과제별로 보세요. 그래도 사람 라벨과 주기적으로 대조하는 한, 보통 매일 밤 수천 개의 출력에 돌릴 만큼 일관돼요.

여기가 솔직한 부분이고, 이 레슨을 채점할 수 있는 이유예요. 심사관의 실제 채점은 모델 호출이고, 모델 호출은 결정적이지 않으니 결코 채점하지 않아요. 여러분이 설계하고 채점받는 건 호출 둘레의 결정적인 발판이에요: 심사관 프롬프트 만들기와 판정 파싱해 꺼내기. 실무에서는 가운데 단계가 진짜 호출이에요:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

이 강좌의 기기 내 WebLLM은 브라우저에서 실시간으로 심사관 역할을 할 수 있지만, 테스트는 결코 그것에 기대지 않아요. 여러분이 만든 프롬프트와 쓴 파서를 확인해요.

프롬프트는 심사관을 붙잡아 둬야 해요: 역할을 말하고, 기준표 항목에 번호를 매겨 나열하고, 답을 보여 주고, 파싱할 수 있도록 기계가 읽을 수 있는 판정을 요구해요. 표준 요령은 기준마다 정해진 모양의 줄 하나를 강제하는 거예요. 여기서는 score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

그러면 파싱은 모든 score: N/5 줄(대소문자 구분 없음)을 정규식으로 훑어 정수를 뽑는 거예요. 모으기는 점수 리스트를 평균과 통과율로 바꿔요: 기준 이상인 점수의 비율. 경보를 거는 건 통과율이에요. 묶음 속 나쁜 답 하나는 잡음이지만, 미끄러지는 통과율은 회귀예요.

만들 것.

  • build_judge_prompt(answer, rubric) -> 번호 매긴 기준표 항목 각각, 답, score: N/5 지시가 든 프롬프트 문자열.
  • parse_judge_scores(text) -> 모든 score: N/5 줄의 정수 리스트, 순서대로, 대소문자 구분 없음.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"}(둘 다 소수점 4자리로 round). 빈 리스트는 0을 돌려줘요.

Run을 눌러 심사관 프롬프트를 만들고, 예시 판정을 파싱하고, 모으세요.

내 차례

번호 매긴 모든 기준표 항목, 답 글, 항목마다 score: N/5로 답하라는 지시가 든 프롬프트 문자열을 돌려주는 build_judge_prompt(answer, rubric)를 쓰세요. 모든 score: N/5 줄의 정수 리스트를 순서대로(대소문자 구분 없이) 돌려주는 parse_judge_scores(text)를 쓰세요. 소수점 4자리로 반올림한 {'mean', 'pass_rate'}를 돌려주는 aggregate(scores, threshold=3)를 쓰세요. pass_rate는 점수 >= threshold인 비율이고 빈 리스트는 0을 돌려줘요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.