강의 계획 레슨 250개 중 129번째 · AI 엔지니어를 위한 프롬프트 엔지니어링
AI 엔지니어를 위한 프롬프트 엔지니어링

자기 일관성: 표본을 뽑고, 해석하고, 투표하기

모델 표본 하나는 운으로 틀릴 수 있어요. 자기 일관성은 같은 질문에 대해 표본을 여러 개 뽑고, 각각에서 답을 해석해 내고, 그것들이 투표하게 해요. 다수의 답은 보통 어느 한 실행보다 믿을 만해요. 표본 뽑기는 모델의 일이고, 해석과 투표는 내 일이며 완전히 결정적이에요.

함수 두 개를 만드세요:

  • extract_answer(text)는 글에서 언급된 마지막 정수(추론 뒤 모델의 최종 숫자)를, 정수가 없으면 None을 돌려줘요. 문자열에 정규식을 써서 정수를 찾으세요.
  • self_consistency(samples)는 표본 문자열의 리스트를 받아 각각에서 답을 꺼내고, None으로 해석된 것을 버리고, Counter로 다수 값을 돌려줘요. 결과가 결정적이도록 동점은 가장 작은 값 쪽으로 깨세요.

예를 들어 [4, 4, 5]로 해석되는 표본이면 투표는 4를 돌려줘요. [3, 5](1대1 동점)이면 더 작은 3을 돌려줘요. 해석할 수 없는 표본은 그냥 무시해요:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

결정적인 동점 깨기가 중요해요: 동점 투표에서 실행마다 다른 승자를 돌려주는 평가는 테스트할 수도 내보낼 수도 없어요. 채점하려면 실행을 누르세요.

내 차례

글의 마지막 정수(앞의 마이너스 부호를 처리)를, 없으면 None을 돌려주는 extract_answer(text)를 쓰세요. 각 표본에서 답을 꺼내고, None 결과를 버리고, Counter로 다수 값을 돌려주되 동점은 가장 작은 값 쪽으로 깨는 self_consistency(samples)를 쓰세요. 해석할 수 있는 답이 없으면 None을 돌려주세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.