모델이 이미 본 테스트 세트
왜 중요한가 큰 모델은 공개 인터넷의 대부분으로 훈련하고, 공개 테스트 세트는 인터넷에 있어요. 테스트 항목이 훈련으로 새어 들어가면 실력과 아무 상관 없는 이유로 점수가 오르고, 그걸 보고하는 논문은 결코 모를 수도 있어요.
강좌 GPT를 위한 지문 120개짜리 공개 테스트 세트. 그 저자들은 따로 썼다고 해요. 사실 그 일부는 GPT가 훈련한 강좌의 레슨 텍스트에서 베꼈어요.
표준 확인: 각 지문을 13문자 조각으로 자르고 훈련 텍스트에서 찾아보세요. 따로 쓴 지문은 우연으로 긴 조각을 거의 공유하지 않고, 베낀 지문은 전부 공유해요. judge.overlap(p)는 지문의 조각 중 훈련 텍스트에서 찾은 비율을, judge.losses(model, passages)는 각 지문에 대한 모델의 손실을 줘요.
먼저 예측하세요: 새어 나간 지문을 없애면 보고된 손실이 나아질까요, 나빠질까요?
이 레슨의 단어와 기호
- 오염(누출)
- 훈련 데이터에도 있었던 테스트 항목
my_guess를 "better"나 "worse"로 설정하세요. reported(120개 전체에 걸친 평균 손실), leaked(True/False 리스트, 겹침 0.5 위), clean(새어 나가지 않은 지문에 걸친 평균 손실), leaked_loss를 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.