Chương trình học Bài 214 trên tổng số 246 · Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp
Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp

Trọng số nhỏ hơn (lượng tử hóa)

Vì sao điều này quan trọng Mô hình được lưu và chạy dưới dạng các con số, và hầu hết các con số không cần 32 bit. Lưu mỗi trọng số bằng 8 hoặc 4 bit làm một mô hình nhỏ đi 4 hoặc 8 lần và thường nhanh hơn, đó là cách các mô hình lớn vừa trên máy tính xách tay và điện thoại. Câu hỏi là nó tốn gì.

Cách đơn giản nhất, theo từng hàng của mỗi ma trận trọng số: tìm giá trị tuyệt đối lớn nhất, chia hàng thành 2^(bits - 1) - 1 nấc bằng nhau ở mỗi phía của không, và làm tròn mọi trọng số về nấc gần nhất. Lưu các nấc đã làm tròn (số nguyên nhỏ) và một hệ số co giãn cho mỗi hàng.

Những con số nhỏ xíu

Hàng [0.9, -0.3, 0.05] ở 4 bit: 7 nấc mỗi phía; hệ số 0.9 / 7 = 0.129. 0.9 -> 7 nấc -> 0.9; -0.3 -> -2.33 -> -2 nấc -> -0.257; 0.05 -> 0.39 -> 0 nấc -> 0. Trọng số nhỏ biến mất.

Từ và ký hiệu trong bài học này
lượng tử hóa
lưu trọng số bằng ít bit hơn bằng cách làm tròn chúng về vài nấc
Đến lượt bạn

Viết quantize_row(w, bits) như đã mô tả. Rồi gán my_guess: thay đổi giá trị mất mát tiếng Anh bạn kỳ vọng ở 8 và ở 4 bit, và điền measured cho 8, 4, 3 và 2 bit bằng adapt.quantize (nó áp dụng cùng quy tắc cho mọi ma trận).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.