자기 일관성: 표본을 뽑고, 해석하고, 투표하기
모델 표본 하나는 운으로 틀릴 수 있어요. 자기 일관성은 같은 질문에 대해 표본을 여러 개 뽑고, 각각에서 답을 해석해 내고, 그것들이 투표하게 해요. 다수의 답은 보통 어느 한 실행보다 믿을 만해요. 표본 뽑기는 모델의 일이고, 해석과 투표는 내 일이며 완전히 결정적이에요.
함수 두 개를 만드세요:
extract_answer(text)는 글에서 언급된 마지막 정수(추론 뒤 모델의 최종 숫자)를, 정수가 없으면None을 돌려줘요. 문자열에 정규식을 써서 정수를 찾으세요.self_consistency(samples)는 표본 문자열의 리스트를 받아 각각에서 답을 꺼내고,None으로 해석된 것을 버리고,Counter로 다수 값을 돌려줘요. 결과가 결정적이도록 동점은 가장 작은 값 쪽으로 깨세요.
예를 들어 [4, 4, 5]로 해석되는 표본이면 투표는 4를 돌려줘요. [3, 5](1대1 동점)이면 더 작은 3을 돌려줘요. 해석할 수 없는 표본은 그냥 무시해요:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9결정적인 동점 깨기가 중요해요: 동점 투표에서 실행마다 다른 승자를 돌려주는 평가는 테스트할 수도 내보낼 수도 없어요. 채점하려면 실행을 누르세요.
글의 마지막 정수(앞의 마이너스 부호를 처리)를, 없으면 None을 돌려주는 extract_answer(text)를 쓰세요. 각 표본에서 답을 꺼내고, None 결과를 버리고, Counter로 다수 값을 돌려주되 동점은 가장 작은 값 쪽으로 깨는 self_consistency(samples)를 쓰세요. 해석할 수 있는 답이 없으면 None을 돌려주세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.