Daha büyük bir modeli tahmin et
Neden önemli Büyük bir model eğitmek aylara ve milyonlara mal olur. Biri bunu harcamadan önce küçük çalıştırmalardan ne kadar iyi olacağını tahmin eder. Yapay zekâ patlamasının arkasındaki şaşırtıcı gerçek, tahminin genellikle işe yaramasıdır. Önce kendi sezginin ne kadar iyi olduğunu gör.
Bu modüldeki modeller küçük karakter modelleri: 8 karakter okurlar ve bir sonrakini tahmin ederler. Boyutlarını tek bir sayı belirler, gizli katmanın genişliği. Kurs bunlardan 150 tane eğitti (10 genişlik, 5 veri miktarı, her biri 3 tohum), kendi ders metninin 1.5 milyon karakteri üzerinde, ve her birinin hiç görmediği 100.000 karakter üzerindeki kaybını ölçtü.
1.5 milyon token üzerinde eğitilmiş 128 genişlikteki bir model (24.401 ağırlık) yaklaşık 1.86'lık bir ayrılmış veri kaybına ulaşır. Burada bir token bir tahmindir: bir karakter.
Bakmadan önce: 1024 genişlikteki bir modelin 7.7 kat ağırlığı var. Aynı veri üzerinde eğitildiğinde hangi kayba ulaşır? Ölçek için: her karakteri eşit olası tahmin etmek 4.42 alır, ve bu modellerin en iyileri 2'nin altına iner.
Bu dersteki kelimeler ve semboller
- token
- burada, bir tahmin: bir karakter
my_guess değerini 1.5 milyon tokende 1024 genişlik için tahmin ettiğin ayrılmış veri kaybına ayarla. Sonra actual'ı kaydedilmiş çalıştırmalardan (3 tohum üzerindeki ortalama), ve error'ı ne kadar yanıldığına (gerçek eksi tahmin) ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.