LLM 심사관: 기준표 + 판정 파싱
정확 일치와 토큰 F1은 답이 열린 형태가 되는 순간 무너져요. "이 티켓을 요약해 줘"에는 좋은 답이 천 개 있고 정답 문자열은 하나도 없어요. 업계의 우회로는 LLM 심사관이에요: 두 번째 모델에게 답을 기준표와 대조해 읽고 판정을 돌려달라고 해요. 팀들이 챗봇, RAG 답, 에이전트 기록을 대규모로 채점하는 방법이 정확히 그거예요.
여기 공학적 현실이 있고, 채용 담당자가 파고드는 게 이거예요: 심사관은 언어 모델이니 그 답은 지저분한 자유 글이에요. 한 번은 VERDICT: PASS라고 하고 다음에는 Final verdict - fail이라고 할 수 있고, 가끔은 앞에 추론 한 문단이 붙어요. 심사관 도구에서 깨지기 쉬운 부분은 프롬프트가 아니라 그 글에서 깔끔하고 기계가 쓸 수 있는 결과를 뽑아내는 파서예요. 그래서 이 레슨에서 심사관은 모의이고(실시간 모델 없음, 네트워크 없음) 그 둘레의 결정적인 두 조각을 만들어요: 기준표 프롬프트와 판정 파서.
기준표 프롬프트를 만드세요. build_rubric(criteria)는 기준 문자열 리스트를 받아 심사관을 위한 프롬프트 문자열 하나를 돌려줘요. 다음을 해야 해요:
- 심사관이 과제를 알도록 단어
Rubric을 담고, - 모든 기준을 1부터 번호를 매겨 각자 한 줄에 나열하고(
1. accuracy,2. clarity, ...), - 심사관에게 정확한 출력 계약을 말하며 끝나요:
VERDICT: PASS또는VERDICT: FAIL줄과SCORE: <0-10>줄. (여러분 자신의 파서가 읽을 형식을 정의하는 거예요.)
파서를 만드세요. parse_verdict(judge_text)는 심사관의 날것의 답을 훑고 {"verdict": "PASS" or "FAIL", "score": int}를 돌려줘요. 진짜 심사관 출력이 강제하는 튼튼함 규칙:
- 대소문자를 구분하지 마세요:
pass,PASS,Pass는 모두 PASS예요. - 라벨이 붙은 판정만 쳐요:
VERDICT: PASS,verdict = fail,verdict - pass. 추론 속의 맨 "pass"는 결정이 아니에요: "VERDICT: FAIL. The fix would make it pass."는 FAIL이고, "this does not pass"는 결코 PASS로 치면 안 돼요. 심사관이 라벨 붙은 판정을 여럿 쓰면(마음을 바꿨어요) 마지막 것이 이겨요. - 점수는 기준표가 요구한 범위인 0에서 10까지의 정수여야 해요. 그 밖의 건 무시하세요("SCORE: 85"는 훌륭한 답이 아니라 심사관이 계약을 어긴 거예요). 올바른 점수 중 마지막 것이 이겨요.
- 올바른 게 하나도 없으면 안전한 기본값을 돌려주세요: 판정
"FAIL"과 점수0. 파싱할 수 없는 심사관 답이 조용히 통과로 쳐지면 결코 안 돼요.
re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I)로 판정을, re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I)로 점수를 찾고, 0에서 10까지의 점수만 남기고, 각각 마지막 것을 고르세요. 파서와 기준표만 채점해요. 실시간 심사관 호출은 이 레슨에서 설명일 뿐이고 테스트에서는 결코 돌지 않아요. Run을 눌러 심사관 답 몇 개를 파싱하세요.
LLM 심사관 도구의 결정적인 절반을 만드세요(심사관은 모의예요). Rubric을 담고, 각 기준에 1부터 번호를 매겨 한 줄씩 두고, VERDICT: PASS/FAIL + SCORE: <0-10> 출력 계약을 말하는 프롬프트 문자열을 돌려주는 build_rubric(criteria)를 쓰세요. {"verdict": "PASS"|"FAIL", "score": int}를 돌려주는 parse_verdict(judge_text)를 쓰세요(점수는 SCORE: 7, score=7, Score 7로 쓰일 수 있어요): 대소문자 구분 없이, 라벨 붙은 판정(VERDICT: PASS, verdict = fail, verdict - pass)과 0에서 10까지의 점수만 세고, 각각 마지막 것을 고르고, 하나도 없으면 기본값 {"verdict": "FAIL", "score": 0}로 가요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.