단언 기반 평가 (정확 일치와 포함)
프롬프트를 바꿨더니 출력이 "더 나은 느낌"이에요. 그 느낌은 결과가 아니에요. 평가의 일은 그것을 풀 리퀘스트에 넣을 수 있는 숫자로 바꾸는 거예요: 이 프롬프트는 정답 세트에서 0.86점이고, 옛것은 0.74점이었어요. 화려한 것에 손을 뻗기 전에, 가장 부지런한 평가는 가장 싼 거예요: 정답이 알려진 라벨 붙은 입력 세트를 가져와 시스템을 돌리고, 몇 개를 맞혔는지 세요.
함정은 "맞다"가 무슨 뜻인지 정하는 거예요. LLM은 정답 문자열을 바이트 하나하나 똑같이 돌려주는 일이 거의 없어요. 마침표를 더하고, 단어를 대문자로 쓰고, 답을 문장으로 감싸요. 그래서 일치 방식을 골라요:
- exact -> 정규화(소문자, 둘레 공백 다듬기) 후 예측이 정답과 같아요. 짧고 닫힌 답에 써요: 라벨, 예/아니요, 도시.
- contains -> 정답이 예측 안 어딘가에 나와요. 모델이 수다스러워도 될 때 써요: "The capital is Paris."는 정답
paris에 대해 여전히 맞은 것으로 쳐야 해요.
정규화가 중요해요. 그게 없으면 "Paris"와 "paris"가 빗나감으로 채점되고 평가가 거짓말을 해요. 비교 하나의 모양은 이래요:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)그러면 정확도는 그 예시별 점수의 평균일 뿐이에요. 실제 도구에서는 predictions가 실시간 모델 호출에서 오지만, 여기서는 채점 수학으로 채점돼요. 정확히 맞아야 하는 부분이 그거예요. 안전을 신경 쓰는 모든 도구에는 확인이 두 개 더 있어요: 허용 목록(모든 출력은 정해진 라벨 집합 중 하나여야 해요)과 금지 패턴 훑기(어떤 출력도 "as an AI" 같은 금지 구절을 담으면 안 돼요).
만들 것.
evaluate(predictions, gold, mode)-> 나란한 두 리스트에 걸친 exact 또는 contains 점수의 평균, 소수점 4자리로round. 빈 리스트는 충돌 없이0.0을 돌려줘요. 모르는 mode에는ValueError를 일으켜요.label_in_set(outputs, allowed)-> 다듬은 출력 중 몇 개가allowed집합에 있는지 세는{"passed", "failed"}.has_forbidden(text, patterns)->patterns의 정규식 중 하나라도text에서 찾으면True.
Run을 눌러 두 방식으로 정답 세트를 채점하세요.
mode가 'exact'(정규화한 같음) 또는 'contains'(정답이 예측 안에 나옴)일 때 나란한 두 리스트에 걸친 평균 점수를 돌려주는 evaluate(predictions, gold, mode)를 쓰세요. strip().lower()로 정규화하고, 정확도를 소수점 4자리로 round 하고, 빈 세트에는 0.0을 돌려주고, 모르는 mode에는 ValueError를 일으키세요. 또 다듬은 출력을 allowed 집합과 대조해 세는 label_in_set(outputs, allowed) -> {'passed', 'failed'}와, 대소문자를 무시하고 정규식 패턴 중 하나라도 text에서 찾으면 True인 has_forbidden(text, patterns)를 쓰세요(그래서 as an ai가 "As an AI"도 잡아요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.