모듈 14: 실행 클리닉 II
클리닉: 좋은 모델이 나쁘게 쓰기
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 훈련된 모델도 그 둘레의 코드가 틀리면 쓰레기를 만들 수 있어요. 이 결함들은 가중치가 아니라 샘플링 코드에 살고, 사람들은 거기를 보기 전에 며칠 동안 다시 훈련해요.
아래 모든 경우는 온도 0.8에서 괜찮은 텍스트를 쓰는 같은 기록된 폭 64 모델을 써요. 각 경우에는 텍스트를 샘플링하거나 디코딩하는 방식에 결함이 하나 있어요:
- too_cold: 온도가 0 근처. 모델이 늘 가장 유력한 다음 문자를 골라서 반복에 빠져요.
- too_hot: 온도가 1보다 훨씬 높음. 분포가 평평해져서 드문 기호가 글자만큼 자주 나와요.
- shifted_decode: id를 다시 문자로 바꿀 때 알파벳이 하나 어긋나서, 멀쩡한 샘플이 암호처럼 읽혀요: 모든 공백이 "!"가 돼요.
프로브: sample(c)는 텍스트를 보여 주고, repeat_share(text)와 space_share(text)는 그걸 재요.
내 차례
A, B, C 경우에 대해 diagnosis와 fixes를 채우세요. 수정 뒤에는 모든 설정이 건강한 것과 맞아야 하고, 샘플이 다시 텍스트처럼 읽혀야 해요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.