정답 세트 + 채점기
새 프롬프트를 내보냈고 더 나은 느낌이에요. 팀장이 중요한 유일한 질문을 해요: 얼마나 나아졌고, 어떻게 알아요? "느낌"은 코드 리뷰를 살아남지 못해요. 할 일은 흐릿한 주장을 방어할 수 있는 숫자로 바꾸는 거고, 모든 프롬프트 평가 도구의 토대는 정답 세트(알려진 정답과 짝지은 입력 리스트)와 채점기(모델의 답이 정답에 얼마나 가까운지 말하는 함수)예요.
이건 세 부분짜리 프로젝트의 레슨 1이에요. 모듈을 마치면 진짜 CI 회귀 관문이 있는 프롬프트 평가 도구를 갖게 돼요 -> 채용 담당자가 이력서에서 "프롬프트 평가 도구 + 회귀 관문을 만들었어요"로 보고 여러분이 LLM 기능을 책임감 있게 내보낼 수 있다는 걸 바로 아는 그런 거예요. 오늘은 잣대를 만들어요: 채점기 세 개와 그중 하나를 정답 세트 전체에 적용하는 실행기.
범위에 관한 솔직한 메모 하나: 여기서 만드는 도구와 회귀 관문 로직은 진짜이고 옮겨 쓸 수 있지만, 심사관 모델은 모의이고 여기서 "정확도"는 정확 일치예요. 진짜 프로젝트에서는 같은 조각들을 실시간 심사관 모델과 더 풍부한 채점기에 연결할 거예요.
과제마다 다른 채점기가 필요하니 세 개를 만들어요:
score_exact(pred, gold)-> 양쪽에.strip()한 뒤 예측이 정답과 같으면1.0, 아니면0.0. 정확 일치만 쳐주는 분류기("positive" 대 "negative")에 알맞은 선택이에요.score_contains(pred, gold)-> 정답 문자열이 예측 안 어디든 나오면(대소문자 구분 없이, 둘 다 다듬어서)1.0, 아니면0.0. 여분의 단어가 괜찮은 "답이 핵심 사실을 언급했나?" 확인에 좋아요.token_f1(pred, gold)-> 단어 겹침에 기반한[0.0, 1.0]안의 부분 점수. 아깝게 빗나간 게 완전히 빗나간 것을 이겨야 하는 자유 글 답의 일꾼이에요.
토큰 F1은 어떻게 작동하나. 두 문자열을 소문자로 바꾸고 단어 토큰으로 나눠요. 중복을 존중하며 공유하는 토큰을 세요(토큰 리스트를 다중 집합으로 다루니, collections.Counter와 그 & 교집합이 친구예요). 그다음:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)풀이 예시: pred="the quick brown fox", gold="the lazy brown dog". the와 brown을 공유해요 -> 겹침 2. 정밀도는 2/4, 재현율은 2/4이니 F1은 0.5예요. 가장자리를 조심하세요: 어느 쪽이든 토큰이 0개이거나 겹침이 0이면 F1은 0.0이에요(결코 0으로 나누지 마세요).
마지막으로 채점기를 평가로 바꾸는 실행기:
run_suite(predictions, golds, scorer)-> 주어진scorer함수로 각(pred, gold)쌍에 점수를 매기고{"score": mean_score, "per_case": [list of each case's score]}를 돌려줘요. 빈 스위트의 평균은0.0이에요.
채점기를 (하드코딩하는 대신) 넘기는 게 도구 하나로 정확 일치 분류기와 자유 글 답을 똑같이 채점하게 하는 설계예요. Run을 눌러 작은 정답 세트를 세 가지 방법으로 채점하세요.
프롬프트 평가 도구의 채점 핵심을 만드세요. score_exact(pred, gold)(다듬은 정확 일치면 1.0, 아니면 0.0), score_contains(pred, gold)(다듬고 소문자로 바꾼 정답이 예측의 부분 문자열이면 1.0, 아니면 0.0), token_f1(pred, gold)(소문자 단어 토큰에 대한 토큰 겹침 F1, 어느 쪽이든 비었거나 겹침이 없으면 0.0)를 쓰세요. 그다음 {"score": mean, "per_case": [scores]}를 돌려주는 run_suite(predictions, golds, scorer)를 쓰세요(빈 스위트의 평균은 0.0).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.