Müfredat 246 dersinden 118. · Modül 10: Gören ağlar (CNN'ler)
Modül 10: Gören ağlar (CNN'ler)

Daha az bit: float32, float16 ve kayıp ölçekleme

Neden önemli Daha az bitte saklanan sayıları taşımak daha hızlıdır ve yarı bellek alırlar, bu yüzden büyük modeller 16 bitlik sayılarla eğitilir ve dağıtılır. Ama 16 bit bilmen gereken iki şekilde bozulur.

  • Taşma: float16 65.504'ün üstündeki hiçbir şeyi tutamaz. Daha büyük bir değer sonsuz olur, sonra nan eğitim boyunca yayılır.
  • Alttan taşma: float16 minicik değerleri de tutamaz; yaklaşık 3e-8'den küçük her şey tam olarak 0'a yuvarlanır. Küçük gradyanlar kaybolur.

Kayıp ölçekleme

Geri geçişten önce kaybı büyük bir S sayısıyla (diyelim 1.024) çarp, böylece her gradyan S kat büyük olur ve alttan taşma çizgisinin üstünde kalır. float16'ya çevir, sonra güncellemeden önce float32'de tekrar S'ye böl. Gradyanlar hayatta kalır.

Kursun kendi kaydedilmiş kontrol noktaları tam da bu nedenle float16 olarak saklanıyor: yarı boyut.

Bugün çoğu büyük model üçüncü bir biçimde eğitilir, bfloat16: float16 gibi 16 bit, ama float32'nin aralığını korur (yaklaşık 3e38'e kadar) ve bunun yerine hassasiyetten vazgeçer (yaklaşık 3 anlamlı basamak). Taşma ve alttan taşma çoğunlukla sorun olmaktan çıkar, bu yüzden onunla kayıp ölçeklemeye nadiren gerek duyulur; bedeli yuvarlamadır, ağırlıkların ve güncellemenin hâlâ float32'de tutulmasının nedeni budur.

Bu dersteki kelimeler ve semboller
float16
16 bitlik sayılar: yarı bellek, 65.504'ün üstünde taşma, minicik değerler 0 olur
RECORDED
kursun bir kez eğittiği ve incelemen için sunduğu gerçek bir çalıştırma
Senin sıran

to_f16(g) (float16'ya çevir ve float32'ye geri dön) ve scaled_to_f16(g, S) (S ile çarp, çevir, geri çevir, S'ye böl) yaz. lost_plain ve lost_scaled değerlerini verilen küçük gradyanların her iki yolla tam olarak sıfır olan payına ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.