Müfredat 246 dersinden 153. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Canlı olarak minicik bir GPT eğit

Neden önemli Her şey bir araya geliyor: gömmeler, konumlar, maskeli çok kafalı dikkat, artıklar ve katman normalleştirmeleri, sonraki karakter tahmini üzerinde Adam ile eğitilmiş. Kendi CPU'nda, saniyeler içinde.

Genişlik 32, 2 blok, 4 kafa, 32 karakterlik bağlam: yaklaşık 29.000 parametre. Her biri 16 parçalık 150 adım, bir dizüstünde birkaç saniye. Eğriyi Tahmin Et: başlangıçtaki ve 150 adımdan sonraki kayıp. (95 karakter üzerinde eşit bir tahmin ln 95 = 4.55'tir.)

Sonra ondan örneklem al. 150 adımdan sonra boşlukları kabaca doğru yerlerde olan bir harf çorbası yapar; 2.000 adım eğitilmiş kaydedilmiş 64 genişlikteki model kelime şeklinde metin yazar. Aynı kod, daha fazla hesaplama.

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
katman normalleştirmesi
her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
Senin sıran

my_guess doldur, sonra corpus.TEXT üzerinde model.train ile eğit (150 adım, öğrenme oranı 0.003, batch 16) ve geçmişi hist içinde tut. Çağrı hist = model.train(text, steps=..., lr=..., batch=...)'dir; hist['loss']'u her 20 adımda (ve son adımda) kaydedilen eğitim kaybı olan bir sözlük döndürür, ve model.generate(prompt, n, temperature) sonradan metin yazar. (help(model.train) bunu da yazdırır.) Kaydedilen son 5 kaybın ortalaması 2.85'in altında olmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.