Silabus Pelajaran 118 dari 246 · Modul 10: Jaringan yang bisa melihat (CNNs)
Modul 10: Jaringan yang bisa melihat (CNNs)

Bit lebih sedikit: float32, float16 dan loss scaling

Kenapa ini penting Angka yang disimpan dalam bit lebih sedikit lebih cepat dipindahkan dan memakan setengah memori, jadi model besar dilatih dan dikirim dalam angka 16-bit. Tapi 16 bit rusak dalam dua cara yang harus kamu tahu.

  • Overflow: float16 tidak bisa menampung angka di atas 65,504. Nilai yang lebih besar akan menjadi infinity, lalu nan akan menyebar ke seluruh training.
  • Underflow: float16 tidak bisa menampung nilai yang sangat kecil juga; apa pun yang lebih kecil dari sekitar 3e-8 akan dibulatkan ke tepat 0. Gradien kecil akan menghilang.

Skala kehilangan

Kalikan loss dengan angka besar S (misalnya 1,024) sebelum backward pass, jadi setiap gradient menjadi S kali lebih besar dan tetap di atas batas underflow. Ubah ke float16, lalu bagi dengan S lagi dalam float32 sebelum update. Gradient tetap ada.

Checkpoint rekaman kursus ini disimpan dalam float16 karena alasan tepat ini: ukurannya setengahnya.

Model besar saat ini kebanyakan dilatih dalam format ketiga, bfloat16: 16 bit seperti float16, tapi tetap menjaga rentang float32 (sampai sekitar 3e38) dan mengorbankan presisi sebagai gantinya (sekitar 3 angka signifikan). Overflow dan underflow sebagian besar berhenti jadi masalah, jadi loss scaling jarang dibutuhkan dengannya; risikonya adalah pembulatan, itulah sebabnya weights dan update tetap disimpan dalam float32.

Kata dan simbol di pelajaran ini
float16
Angka
16-bit: setengah memori, overflow di atas 65,504, nilai kecil jadi 0
TEREKAM
kursus ini benar-benar dijalankan sekali dan dikirim untuk kamu pelajari
Giliranku

Tulis to_f16(g) (ubah ke float16 dan kembali ke float32) dan scaled_to_f16(g, S) (kalikan dengan S, ubah, ubah kembali, bagi dengan S). Atur lost_plain dan lost_scaled ke fraksi dari gradien kecil yang diberikan yang menjadi nol tepat di setiap cara.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.