강의 계획 레슨 250개 중 238번째 · 프로젝트: 프롬프트 평가 CI
프로젝트: 프롬프트 평가 CI

회귀 관문

이게 마지막이고, 이력서에 올라갈 한 줄이에요: 프롬프트 평가 도구 + 회귀 관문을 만들었어요. 채점기(레슨 1)와 심사관 파서(레슨 2)가 있어요. 이제 그것을 CI로 만드는 조각을 연결해요: 프롬프트를 바꿀 때마다 돌아가서 품질이 떨어지면 병합을 막는 관문. 이게 팀원의 "작은 손질"이 운영에서 조용히 정확도를 떨어뜨리는 걸 막아요 -> 결코 지치지 않는 자동 검토자.

모형: 정답 세트가 있고, 프롬프트의 두 판이 각각 그 세트에 대한 예측 리스트를 만들어요. 여기서 정확도는 그냥 정답(다듬은)과 정확히 일치하는 예측의 비율이에요. 먼저 둘을 비교해요:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}. 각 정확도는 golds에 대한 정확 일치 비율이고 delta는 v2가 v1에 비해 얼마나 움직였는지예요. 양수 delta는 후보가 나아졌다는 뜻이고, 음수는 회귀했다는 뜻이에요.

그다음 관문 자체. CI에서는 잡음으로 막지 않아요 -> min_delta 기준이 후보가 거부되기 전에 아주 작은, 허용된 만큼 내려가게 해 줘요(흔히 0.0, "나빠지면 안 됨"이라는 뜻):

  • gate(baseline, candidate, min_delta) -> baseline과 candidate는 각각 (preds, golds) 쌍이에요. 둘 다 정확 일치 정확도로 채점하고, delta = candidate_acc - baseline_acc를 계산하고, {"pass": bool, "delta": delta, "report": str}를 돌려줘요. 관문은 delta >= min_delta일 때 통과하고 아니면 실패해요.

report는 개발자가 CI 로그에서 보는 사람이 읽을 수 있는 한 줄이에요. 결과와 숫자를 말하게 하세요. 예: "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" 또는 FAIL: ... 변형. 테스트는 보고서가 불리언과 맞는 PASS나 FAIL로 시작하고 두 정확도를 언급하는지 확인하니, 정확한 표현은 여러분 몫이지만 사실은 들어 있어야 해요.

구체적으로: 기준선 0.8과 후보 0.6, min_delta=0.0 -> delta -0.2, 관문 실패, 병합이 막혀요. 둘을 바꾸면 후보가 나아져요 -> 관문 통과. 그 불리언 하나가 CI에 연결해서 "프롬프트가 나아 보인다"를 "프롬프트가 나빠지지 않았음이 증명됐거나, 빌드가 빨갛다"로 바꾸는 거예요. Run을 눌러 개선과 회귀를 관문에 걸어 보세요.

내 차례

CI 회귀 관문을 만드세요. 각 값이 정확 일치 정확도(다듬은 정답과 같은 예측의 비율)이고 delta = v2 - v1인 {"v1", "v2", "delta"}를 돌려주는 compare(v1_preds, v2_preds, golds)를 쓰세요. (preds, golds) 쌍 두 개를 받아 {"pass": bool, "delta": float, "report": str}를 돌려주고 delta >= min_delta일 때 그리고 그때만 통과하는 gate(baseline, candidate, min_delta)를 쓰세요. 보고서는 (불리언과 맞는) PASS/FAIL로 시작하고 두 정확도를 각각 소수점 세 자리로("%.3f", 그래서 0.5는 0.500으로 나와요) 언급해야 해요. 회귀는 관문에서 실패하고, 개선은 통과해야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.