부분을 없애는 방법이 답을 바꿔요
왜 중요한가 "이 부분을 없애면 손실이 X만큼 오른다"는 그 부분에 대한 사실처럼 들려요. 그 일부는 그걸 어떻게 없앴는지에 대한 사실이에요.
모듈 21에서 GPT의 부분을 출력을 0으로 설정해서 없앴어요. 하지만 신경망의 나머지는 훈련에서 거기에 0을 본 적이 없어요: 0은 처음 만나는 입력일 수 있어서, 피해는 정보 손실뿐 아니라 충격도 재요. 더 부드러운 제거는 출력을 많은 입력에 걸친 그 평균으로 바꿔요(평균 제거): 그 부분은 이 입력에 대해 아무것도 나르지 않게 되지만, 다음 층은 여전히 평소 크기의 값을 받아요.
네 부분에 대해 둘 다 재세요: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. 평균은 cache[site].mean((0, 1))에서 와요.
먼저 예측하세요: 블록 0의 MLP에 대해 평균 제거가 0으로 만들기보다 덜 들까요, 아니면 비슷할까요?
이 레슨의 단어와 기호
- 평균 제거
- 부분의 출력을 0 대신 그 평균으로 바꾸기
my_guess를 "less"나 "same"으로 설정하세요. zero[site]와 mean[site]를 손실의 상승으로 채우세요. most_overstated를 0으로 만들기가 효과를 가장 과장하는 부분으로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.