Bit lebih sedikit: float32, float16 dan loss scaling
Kenapa ini penting Angka yang disimpan dalam bit lebih sedikit lebih cepat dipindahkan dan memakan setengah memori, jadi model besar dilatih dan dikirim dalam angka 16-bit. Tapi 16 bit rusak dalam dua cara yang harus kamu tahu.
- Overflow: float16 tidak bisa menampung angka di atas 65,504. Nilai yang lebih besar akan menjadi infinity, lalu nan akan menyebar ke seluruh training.
- Underflow: float16 tidak bisa menampung nilai yang sangat kecil juga; apa pun yang lebih kecil dari sekitar 3e-8 akan dibulatkan ke tepat 0. Gradien kecil akan menghilang.
Skala kehilangan
Kalikan loss dengan angka besar S (misalnya 1,024) sebelum backward pass, jadi setiap gradient menjadi S kali lebih besar dan tetap di atas batas underflow. Ubah ke float16, lalu bagi dengan S lagi dalam float32 sebelum update. Gradient tetap ada.
Checkpoint rekaman kursus ini disimpan dalam float16 karena alasan tepat ini: ukurannya setengahnya.
Model besar saat ini kebanyakan dilatih dalam format ketiga, bfloat16: 16 bit seperti float16, tapi tetap menjaga rentang float32 (sampai sekitar 3e38) dan mengorbankan presisi sebagai gantinya (sekitar 3 angka signifikan). Overflow dan underflow sebagian besar berhenti jadi masalah, jadi loss scaling jarang dibutuhkan dengannya; risikonya adalah pembulatan, itulah sebabnya weights dan update tetap disimpan dalam float32.
Kata dan simbol di pelajaran ini
- float16 Angka
- 16-bit: setengah memori, overflow di atas 65,504, nilai kecil jadi 0
- TEREKAM
- kursus ini benar-benar dijalankan sekali dan dikirim untuk kamu pelajari
Tulis to_f16(g) (ubah ke float16 dan kembali ke float32) dan scaled_to_f16(g, S) (kalikan dengan S, ubah, ubah kembali, bagi dengan S). Atur lost_plain dan lost_scaled ke fraksi dari gradien kecil yang diberikan yang menjadi nol tepat di setiap cara.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.