더 작은 가중치(양자화)
왜 중요한가 모델은 숫자로 저장되고 돌아가고, 대부분의 숫자는 32비트가 필요 없어요. 각 가중치를 8이나 4비트에 저장하면 모델이 4배나 8배 작아지고 흔히 빨라지는데, 그게 큰 모델이 노트북과 폰에 들어가는 방법이에요. 질문은 그게 무엇을 치르게 하느냐예요.
가장 단순한 방식, 각 가중치 행렬의 행마다: 가장 큰 절댓값을 찾고, 행을 0의 양쪽에 2^(bits - 1) - 1개의 같은 단계로 나누고, 모든 가중치를 가장 가까운 단계로 반올림하세요. 반올림한 단계(작은 정수)와 행마다 척도 하나를 저장하세요.
작은 숫자
4비트에서 행 [0.9, -0.3, 0.05]: 양쪽에 단계 7개, 척도 0.9 / 7 = 0.129. 0.9 -> 7단계 -> 0.9, -0.3 -> -2.33 -> -2단계 -> -0.257, 0.05 -> 0.39 -> 0단계 -> 0. 작은 가중치가 사라져요.
이 레슨의 단어와 기호
- 양자화
- 가중치를 몇 단계로 반올림해서 더 적은 비트로 저장하기
설명대로 quantize_row(w, bits)를 쓰세요. 그다음 my_guess를 설정하세요: 8과 4비트에서 기대하는 영어 손실 변화. 그리고 adapt.quantize(같은 규칙을 모든 행렬에 적용해요)를 써서 8, 4, 3, 2비트에 대한 measured를 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.