강의 계획 레슨 246개 중 162번째 · 모듈 14: 실행 클리닉 II
모듈 14: 실행 클리닉 II

클리닉: 좋은 모델이 나쁘게 쓰기

왜 중요한가 훈련된 모델도 그 둘레의 코드가 틀리면 쓰레기를 만들 수 있어요. 이 결함들은 가중치가 아니라 샘플링 코드에 살고, 사람들은 거기를 보기 전에 며칠 동안 다시 훈련해요.

아래 모든 경우는 온도 0.8에서 괜찮은 텍스트를 쓰는 같은 기록된 폭 64 모델을 써요. 각 경우에는 텍스트를 샘플링하거나 디코딩하는 방식에 결함이 하나 있어요:

  • too_cold: 온도가 0 근처. 모델이 늘 가장 유력한 다음 문자를 골라서 반복에 빠져요.
  • too_hot: 온도가 1보다 훨씬 높음. 분포가 평평해져서 드문 기호가 글자만큼 자주 나와요.
  • shifted_decode: id를 다시 문자로 바꿀 때 알파벳이 하나 어긋나서, 멀쩡한 샘플이 암호처럼 읽혀요: 모든 공백이 "!"가 돼요.

프로브: sample(c)는 텍스트를 보여 주고, repeat_share(text)와 space_share(text)는 그걸 재요.

내 차례

A, B, C 경우에 대해 diagnosis와 fixes를 채우세요. 수정 뒤에는 모든 설정이 건강한 것과 맞아야 하고, 샘플이 다시 텍스트처럼 읽혀야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.