선호 가르치기(DPO)
왜 중요한가 챗 모델은 텍스트로만 훈련하지 않아요. 선호로 조정해요: 두 답 중 사람들이 어느 것을 더 좋아했는지. DPO(Rafailov et al. 2023)는 별도의 보상 모델 없이 손실 하나로 쌍에서 바로 그걸 해요. 지나치게 하기도 쉬워요.
여기서의 선호는 기본 모델이 결코 쓰지 않는 스타일이에요: 단어를 밑줄로 잇기("snake_case 말투"). 각 쌍에는 레슨 텍스트에서 가져온 20문자 프롬프트, 진짜 다음 10문자(거부됨), 그리고 모든 공백을 밑줄로 쓴 같은 10문자(선택됨)가 있어요.
쌍 하나에 대한 DPO 손실은 조정한 모델이 선택된 답을 참조 모델보다 얼마나 더 그럴듯하게 만드는지를, 거부된 답에 대한 같은 것과 비교해요:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta는 조정한 모델을 참조 근처에 얼마나 세게 붙잡을지 정해요. 뒤에 재는 것 둘: 새 프롬프트 60개에서 밑줄로 쓴 단어 사이 틈의 비율(스타일), 그리고 틈이 아니라 글자만 센 따로 떼어 둔 영어에서의 손실(피해).
이 레슨의 단어와 기호
- LoRA
- 저랭크 적응: 얼린 가중치 행렬 더하기 훈련 가능한 얇은 행렬 둘, x W + (alpha / r) x A B
- 랭크 (r)
- LoRA의 두 행렬이 얼마나 얇은지: 행렬마다 훈련 가능한 가중치 (d_in + d_out) × r개
- DPO
- 직접 선호 최적화: 더 나은 답과 더 나쁜 답의 쌍으로 조정하기
- 참조 모델
- DPO가 모든 변화를 대조해 재는 얼린 모델
- beta (DPO)
- 조정한 모델을 참조 근처에 얼마나 세게 붙잡는지
스타일이 배워지면서(밑줄 비율 적어도 0.8) 글자만의 손실이 2.6 아래에 머물도록(기본 모델은 약 1.94를 받아요) steps(많아야 60)를 고르세요. 값 몇 개를 시도해 보세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.