강의 계획 레슨 246개 중 131번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

온도로 텍스트 샘플링하기

왜 중요한가 모든 챗봇에는 "온도" 설정이 있어요. 나눗셈 한 번이고, 안전하고 반복적인 텍스트를 다양하고 더 위험한 텍스트와 맞바꿔요.

다음 문자를 고르려고 모델은 점수를 softmax로 확률로 바꿔요. 먼저 점수를 온도 T로 나누면 그 분포가 얼마나 뾰족한지가 바뀌어요: T가 1 아래면 날카로워지고(가장 유력한 게 더 자주 이겨요), 1 위면 평평해져요(놀라운 것이 그럴듯해져요).

엔트로피, p log p의 합에 마이너스를 붙인 것은 분포가 얼마나 퍼져 있는지 재요: 선택 하나가 확실하면 0, n개가 모두 똑같이 그럴듯하면 ln(n).

진짜 기록된 모델에서 잴 거예요: 강좌 자체의 레슨 텍스트로 훈련한 강좌의 작은 GPT.

이 레슨의 단어와 기호
온도
softmax 전에 점수를 나누기: 1 아래면 더 날카롭게, 1 위면 더 평평하게
엔트로피
분포가 얼마나 퍼져 있는지: 확실하면 0, n개 선택이 모두 같으면 ln(n)
내 차례

my_order를 온도 0.5, 1.0, 2.0을 엔트로피가 낮은 것부터 높은 것으로 정렬한 것(자기 예측)으로 설정하세요. 그다음 점수 한 행에 대한 entropy_at(scores, T)를 쓰고, 온도마다 주어진 맥락들에 걸친 모델의 다음 문자 분포의 평균 엔트로피로 measured를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.