강의 계획 레슨 250개 중 202번째 · 개념으로 보는 파인튜닝
개념으로 보는 파인튜닝

DPO 선호 쌍 만들기

지도 파인튜닝에는 프롬프트마다 정답 하나가 필요해요. 선호 튜닝(DPO)에는 다른 것이 필요하고, 모으기가 더 쉬울 때가 많아요: 같은 프롬프트에 대해 선택된 답과 거절된 답이 있고, 앞의 것을 선호하도록 배워요. 그런 쌍을 바로 갖고 있는 경우는 드물지만, 순위는 아주 자주 있어요. 사람(또는 판정 모델)이 여러 후보 답을 가장 좋은 것부터 가장 나쁜 것까지 순서 매긴 거예요. 이 레슨은 순위를 DPO가 실제로 훈련하는 쌍 데이터로 바꿔요.

규칙은 단순해요: 후보가 가장 좋은 것부터 나열되어 있으면, 하나가 다른 하나보다 위에 있는 모든 쌍에서 높은 것이 chosen이고 낮은 것이 rejected예요. 후보 n개의 순위 리스트는 앞-뒤 조합 전부인 n*(n-1)/2개의 선호 쌍을 내요:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

ranked의 모든 인덱스 쌍 i < j마다 하나씩(그래서 ranked[i]가 ranked[j]보다 선택됨), 그 순서로 {"prompt", "chosen", "rejected"} dict의 리스트를 돌려주는 to_preference_pairs(prompt, ranked)를 만드세요. 후보가 두 개보다 적으면 빈 리스트를 내요(표현할 선호가 없어요). 훈련기가 맥락을 알도록 같은 prompt가 모든 쌍에 실려요. 순위를 훈련 쌍으로 펼치려면 실행을 누르세요.

내 차례

ranked가 가장 좋은 것부터 정렬된 후보 답의 리스트인 to_preference_pairs(prompt, ranked)를 쓰세요. 모든 i < j(chosen이 rejected보다 순위가 높음)에 대해 {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]}의 리스트를 (i, j) 오름차순으로 돌려주세요. 후보가 두 개보다 적은 리스트는 []을 돌려줘요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.