Trọng số nhỏ hơn (lượng tử hóa)
Vì sao điều này quan trọng Mô hình được lưu và chạy dưới dạng các con số, và hầu hết các con số không cần 32 bit. Lưu mỗi trọng số bằng 8 hoặc 4 bit làm một mô hình nhỏ đi 4 hoặc 8 lần và thường nhanh hơn, đó là cách các mô hình lớn vừa trên máy tính xách tay và điện thoại. Câu hỏi là nó tốn gì.
Cách đơn giản nhất, theo từng hàng của mỗi ma trận trọng số: tìm giá trị tuyệt đối lớn nhất, chia hàng thành 2^(bits - 1) - 1 nấc bằng nhau ở mỗi phía của không, và làm tròn mọi trọng số về nấc gần nhất. Lưu các nấc đã làm tròn (số nguyên nhỏ) và một hệ số co giãn cho mỗi hàng.
Những con số nhỏ xíu
Hàng [0.9, -0.3, 0.05] ở 4 bit: 7 nấc mỗi phía; hệ số 0.9 / 7 = 0.129. 0.9 -> 7 nấc -> 0.9; -0.3 -> -2.33 -> -2 nấc -> -0.257; 0.05 -> 0.39 -> 0 nấc -> 0. Trọng số nhỏ biến mất.
Từ và ký hiệu trong bài học này
- lượng tử hóa
- lưu trọng số bằng ít bit hơn bằng cách làm tròn chúng về vài nấc
Viết quantize_row(w, bits) như đã mô tả. Rồi gán my_guess: thay đổi giá trị mất mát tiếng Anh bạn kỳ vọng ở 8 và ở 4 bit, và điền measured cho 8, 4, 3 và 2 bit bằng adapt.quantize (nó áp dụng cùng quy tắc cho mọi ma trận).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.