Müfredat 246 dersinden 201. · Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)
Modül 19: Daha büyük, ve ne kadar daha iyi (ölçekleme yasaları)

Kendi küçük çalıştırmaların, maliyetiyle

Neden önemli Ölçekleme bir maliyet ifadesidir: hesaplama birimi başına ne kadar daha iyi. Yani her çalıştırmanın bir fiyat etiketi olmalı, ve eğitimin fiyat etiketi şaşırtıcı derecede basittir.

Eğitim yaklaşık ağırlık başına token başına 6 işlem tutar: ileri geçiş için 2 (her ağırlık için bir çarpma, bir toplama) ve geri geçiş için yaklaşık 4 (girdiler ve ağırlıklar için gradyanlar). Bu, başlangıç çizgisinden beri kullandığın FLOP Defteri kuralıdır: scaling.flops(weights, tokens).

Burada üç küçük modeli canlı eğitiyorsun, her biri kurs metninin 32.000 tokeni üzerinde, maliyette yaklaşık 7 kat arayla.

Bu dersteki kelimeler ve semboller
token
burada, bir tahmin: bir karakter
FLOP (6 N D)
eğitim maliyeti: ağırlık başına token başına yaklaşık 6 işlem
Senin sıran

4, 16 ve 64 genişlikleri her biri 32.000 token için eğit (scaling.train(model, 32_000) ayrılmış veri kaybını döndürür). runs'ı her genişlik için ağırlıklar, FLOP ve kayıpla doldur. Sonra cost_ratio'yu ayarla: 64 genişlikteki çalıştırmanın 4 genişlikteki çalıştırmadan kaç kat fazla tuttuğu.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.