Müfredat 246 dersinden 158. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Kapı sınavı: bozuk bir transformer (yapay zekâ kapalı)

Neden önemli Bu, ev motoruyla yazılmış bütün bir GPT ileri geçişidir, ve iki hatası var. İkisi de klasik, ve her biri tek başına gerçek ekipleri kandırmıştır.

Yapay zekâ öğretmeni kapalı. Bir hata modelin tahmin etmesi gereken karakterleri görmesine izin veriyor. Diğeri yığını eğitmeyi çok daha zorlaştırıyor. İkisini de bul ve düzelt.

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
Senin sıran

logits'i düzelt. Bir karakteri değiştirmek önceki konumlar için hiçbir tahmini değiştirmemeli, ve 200 adımdan sonra son 20 adımdaki ortalama kayıp 2.65'in altında olmalı.

AI kapalı: bu ödevde eğitmen, ipucu veya çözümlü örnek yok. Sadece kendi düşüncen.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.