Canlı olarak minicik bir GPT eğit
Neden önemli Her şey bir araya geliyor: gömmeler, konumlar, maskeli çok kafalı dikkat, artıklar ve katman normalleştirmeleri, sonraki karakter tahmini üzerinde Adam ile eğitilmiş. Kendi CPU'nda, saniyeler içinde.
Genişlik 32, 2 blok, 4 kafa, 32 karakterlik bağlam: yaklaşık 29.000 parametre. Her biri 16 parçalık 150 adım, bir dizüstünde birkaç saniye. Eğriyi Tahmin Et: başlangıçtaki ve 150 adımdan sonraki kayıp. (95 karakter üzerinde eşit bir tahmin ln 95 = 4.55'tir.)
Sonra ondan örneklem al. 150 adımdan sonra boşlukları kabaca doğru yerlerde olan bir harf çorbası yapar; 2.000 adım eğitilmiş kaydedilmiş 64 genişlikteki model kelime şeklinde metin yazar. Aynı kod, daha fazla hesaplama.
Bu dersteki kelimeler ve semboller
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- kafa
- her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
- katman normalleştirmesi
- her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
my_guess doldur, sonra corpus.TEXT üzerinde model.train ile eğit (150 adım, öğrenme oranı 0.003, batch 16) ve geçmişi hist içinde tut. Çağrı hist = model.train(text, steps=..., lr=..., batch=...)'dir; hist['loss']'u her 20 adımda (ve son adımda) kaydedilen eğitim kaybı olan bir sözlük döndürür, ve model.generate(prompt, n, temperature) sonradan metin yazar. (help(model.train) bunu da yazdırır.) Kaydedilen son 5 kaybın ortalaması 2.85'in altında olmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.