프롬프트 회귀 관문
채점기(정확 일치, F1, LLM 심사관)가 있어요. 마지막 조각은 그것들을 관문으로 바꿔요: CI가 프롬프트를 바꿀 때마다 돌리는 예/아니요 결정이라, "작은 손질"이 결코 조용히 상황을 나쁘게 만들 수 없어요. 이것이 품질을 재는 것과 지키는 것의 차이예요.
(여기서 "회귀"는 일상적인 소프트웨어 의미로 나빠지는 변화를 뜻하고, ML 모듈의 모델링 기법이 아니에요.)
같은 평가 세트에서 두 실행을 비교해요: 기준선(운영 중인 프롬프트)과 후보(여러분의 변경), [0, 1] 안의 예시별 점수 리스트 두 개로요. 관문은 세 기준을 넘지 못하면 변경을 막아요:
- 전체 하락 없음: 후보의 평균 점수가 적어도 기준선의 평균이에요(아주 작은 허용치가 잡음을 흡수해요).
- 새 실패가 적음: 후보가 기준선보다 낮은 점수를 받은 예시 수가 예산 안에 머물러요(큰 승리 하나가 조용한 회귀 여럿을 숨기면 안 돼요).
- 바닥: 정했다면, 절대 최소 평균.
baseline_mean, candidate_mean, delta(후보 빼기 기준선), regressions(candidate[i] < baseline[i] - 1e-9인 인덱스 수), passed(모든 기준을 넘을 때만 True인 bool)가 있는 보고서 dict를 돌려주는 regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None)를 만드세요. 두 리스트는 길이가 같아요. Run을 눌러 후보 프롬프트를 관문에 걸어 보세요.
길이가 같은 예시별 점수 리스트 두 개에 대해 regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None)를 쓰세요. {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}를 돌려주는데, delta = candidate_mean - baseline_mean, regressions는 candidate[i] < baseline[i] - 1e-9인 인덱스를 세고, passed는 candidate_mean >= baseline_mean - tol 그리고 regressions <= max_regressions 그리고 (min_mean is None 또는 candidate_mean >= min_mean)일 때만 True예요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.