LLM 심사관 (기준표 만들기 + 판정 파싱)
정확 일치, F1, ROUGE는 모두 비교할 정답이 필요해요. 하지만 열린 출력, "이 설명은 분명했나?", "말투가 전문적이었나?"에는 하나의 맞는 문자열이 없어요. 업계가 정착한 확장 가능한 답은 LLM 심사관이에요: 두 번째 모델에게 답과 기준표를 주고 기준마다 점수를 매기라고 해요. 잘 정의된 기준표에서는 흔히 사람 평가자와 80-90% 일치 범위에 들지만, 과제에 따라 크게 달라지고 미묘하거나 적대적인 경우에는 급격히 떨어질 수 있으니, 어떤 숫자든 법칙이 아니라 과제별로 보세요. 그래도 사람 라벨과 주기적으로 대조하는 한, 보통 매일 밤 수천 개의 출력에 돌릴 만큼 일관돼요.
여기가 솔직한 부분이고, 이 레슨을 채점할 수 있는 이유예요. 심사관의 실제 채점은 모델 호출이고, 모델 호출은 결정적이지 않으니 결코 채점하지 않아요. 여러분이 설계하고 채점받는 건 호출 둘레의 결정적인 발판이에요: 심사관 프롬프트 만들기와 판정 파싱해 꺼내기. 실무에서는 가운데 단계가 진짜 호출이에요:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)이 강좌의 기기 내 WebLLM은 브라우저에서 실시간으로 심사관 역할을 할 수 있지만, 테스트는 결코 그것에 기대지 않아요. 여러분이 만든 프롬프트와 쓴 파서를 확인해요.
프롬프트는 심사관을 붙잡아 둬야 해요: 역할을 말하고, 기준표 항목에 번호를 매겨 나열하고, 답을 보여 주고, 파싱할 수 있도록 기계가 읽을 수 있는 판정을 요구해요. 표준 요령은 기준마다 정해진 모양의 줄 하나를 강제하는 거예요. 여기서는 score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.그러면 파싱은 모든 score: N/5 줄(대소문자 구분 없음)을 정규식으로 훑어 정수를 뽑는 거예요. 모으기는 점수 리스트를 평균과 통과율로 바꿔요: 기준 이상인 점수의 비율. 경보를 거는 건 통과율이에요. 묶음 속 나쁜 답 하나는 잡음이지만, 미끄러지는 통과율은 회귀예요.
만들 것.
build_judge_prompt(answer, rubric)-> 번호 매긴 기준표 항목 각각, 답,score: N/5지시가 든 프롬프트 문자열.parse_judge_scores(text)-> 모든score: N/5줄의 정수 리스트, 순서대로, 대소문자 구분 없음.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(둘 다 소수점 4자리로round). 빈 리스트는 0을 돌려줘요.
Run을 눌러 심사관 프롬프트를 만들고, 예시 판정을 파싱하고, 모으세요.
번호 매긴 모든 기준표 항목, 답 글, 항목마다 score: N/5로 답하라는 지시가 든 프롬프트 문자열을 돌려주는 build_judge_prompt(answer, rubric)를 쓰세요. 모든 score: N/5 줄의 정수 리스트를 순서대로(대소문자 구분 없이) 돌려주는 parse_judge_scores(text)를 쓰세요. 소수점 4자리로 반올림한 {'mean', 'pass_rate'}를 돌려주는 aggregate(scores, threshold=3)를 쓰세요. pass_rate는 점수 >= threshold인 비율이고 빈 리스트는 0을 돌려줘요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.