프롬프트 평가하기 (정답 세트에서의 정확도)
"새 프롬프트가 더 나은 느낌이에요"는 답이 아니에요. 알려면 정답 세트를 둬요: 믿을 만한 올바른 출력과 짝지은 입력들이에요. 입력에 대해 프롬프트를 돌리고, 각 예측을 그 정답과 비교하고, 숫자를 보고해요. 그 숫자가 스스로를 속이지 않고 프롬프트 v1과 v2를 비교하는 방법이에요.
채점기를 만들어요. score_prediction(pred, gold)는 일치하면 1.0을, 아니면 0.0을 돌려주는데, 대소문자를 무시하고 둘레 공백도 무시하고 비교해요. 실제로는 "Yes", "yes", " yes "가 모두 같은 답이니까요.
evaluate(predictions, golds)는 두 리스트를 발맞춰 돌며 각 쌍을 채점하고 요약을 돌려줘요:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}accuracy는 소수 넷째 자리로 반올림하세요. 빈 세트를 안전하게 하세요: 정답이 0개면 0으로 나누지 말고 {"accuracy": 0.0, "correct": 0, "total": 0}을 돌려줘요. 평가 세트는 걸러지면서 줄어들고, 빈 조각에서 장치가 멈추면 안 되니까요.
숨겨진 테스트 하나는 무작위로 만든 예측/정답 세트 50개에 내 evaluate를 돌리고 테스트 안에서 계산한 참고 값과 비교해요. 보이는 사례의 조회표로는 그걸 견디지 못하고, 그게 요점이에요: 답을 외우는 게 아니라 진짜 채점기를 만드는 거예요. 채점하려면 실행을 누르세요.
대소문자와 둘레 공백을 무시하고 둘이 일치하면 1.0을, 아니면 0.0을 돌려주는 score_prediction(pred, gold)를 쓰세요. 짝지은 리스트에 걸쳐 {"accuracy", "correct", "total"}을 돌려주되, accuracy는 소수 넷째 자리로 반올림하고 빈 세트는 (멈추지 않고) 모두 0을 돌려주는 evaluate(predictions, golds)를 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.