Ít bit hơn: float32, float16 và co giãn giá trị mất mát
Vì sao điều này quan trọng Những con số được lưu bằng ít bit hơn thì nhanh hơn để di chuyển và tốn một nửa bộ nhớ, nên các mô hình lớn huấn luyện và được phát hành bằng số 16 bit. Nhưng 16 bit hỏng theo hai cách bạn phải biết.
- Tràn số (overflow): float16 không thể giữ bất cứ thứ gì trên 65.504. Một giá trị lớn hơn trở thành vô cực, và rồi nan lan khắp quá trình huấn luyện.
- Tràn dưới (underflow): float16 cũng không thể giữ các giá trị rất nhỏ; bất cứ thứ gì nhỏ hơn khoảng 3e-8 bị làm tròn thành đúng 0. Các gradient nhỏ biến mất.
Co giãn giá trị mất mát
Nhân giá trị mất mát với một số lớn S (chẳng hạn 1.024) trước lượt ngược, để mọi gradient lớn gấp S lần và nằm trên đường tràn dưới. Chuyển sang float16, rồi chia cho S lại ở float32 trước khi cập nhật. Các gradient sống sót.
Các checkpoint đã được ghi lại của chính khóa học được lưu ở float16 vì đúng lý do này: một nửa kích thước.
Phần lớn các mô hình lớn ngày nay huấn luyện ở một định dạng thứ ba, bfloat16: 16 bit như float16, nhưng nó giữ dải của float32 (tới khoảng 3e38) và hy sinh độ chính xác thay vào đó (khoảng 3 chữ số có nghĩa). Tràn số và tràn dưới phần lớn không còn là vấn đề, nên co giãn giá trị mất mát hiếm khi cần với nó; cái giá là việc làm tròn, đó là lý do các trọng số và bước cập nhật vẫn được giữ ở float32.
Từ và ký hiệu trong bài học này
- float16
- số 16 bit: một nửa bộ nhớ, tràn số trên 65.504, các giá trị rất nhỏ trở thành 0
- RECORDED
- một lần chạy thật mà khóa học đã huấn luyện một lần và đưa kèm để bạn nghiên cứu
Viết to_f16(g) (chuyển sang float16 rồi trở lại float32) và scaled_to_f16(g, S) (nhân với S, chuyển đổi, chuyển trở lại, chia cho S). Gán lost_plain và lost_scaled là tỉ lệ các gradient nhỏ được cho trở thành đúng không theo mỗi cách.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.