Kendi küçük çalıştırmaların, maliyetiyle
Neden önemli Ölçekleme bir maliyet ifadesidir: hesaplama birimi başına ne kadar daha iyi. Yani her çalıştırmanın bir fiyat etiketi olmalı, ve eğitimin fiyat etiketi şaşırtıcı derecede basittir.
Eğitim yaklaşık ağırlık başına token başına 6 işlem tutar: ileri geçiş için 2 (her ağırlık için bir çarpma, bir toplama) ve geri geçiş için yaklaşık 4 (girdiler ve ağırlıklar için gradyanlar). Bu, başlangıç çizgisinden beri kullandığın FLOP Defteri kuralıdır: scaling.flops(weights, tokens).
Burada üç küçük modeli canlı eğitiyorsun, her biri kurs metninin 32.000 tokeni üzerinde, maliyette yaklaşık 7 kat arayla.
Bu dersteki kelimeler ve semboller
- token
- burada, bir tahmin: bir karakter
- FLOP (6 N D)
- eğitim maliyeti: ağırlık başına token başına yaklaşık 6 işlem
4, 16 ve 64 genişlikleri her biri 32.000 token için eğit (scaling.train(model, 32_000) ayrılmış veri kaybını döndürür). runs'ı her genişlik için ağırlıklar, FLOP ve kayıpla doldur. Sonra cost_ratio'yu ayarla: 64 genişlikteki çalıştırmanın 4 genişlikteki çalıştırmadan kaç kat fazla tuttuğu.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.