Müfredat 246 dersinden 222. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Bir indüksiyon kafası aramak

Neden önemli İndüksiyon kafası (Olsson vd. 2022) yorumlanabilirlikteki en bilinen hikâyedir: bir kafa mevcut token'ın önceki kopyasını bulur ve ondan sonraki token'a dikkat eder, böylece model bir tekrarı sürdürebilir. Büyük modellerde gerçektir. Hata, küçük bir modelin kopyaladığı için aynı şekilde kopyaladığını varsaymaktır.

Kurs yalnızca kopyalamak için 2 bloklu bir GPT eğitti: her satır, 32 konumu dolduracak şekilde tekrarlanmış 4 ile 16 harflik rastgele bir dizidir. İlk dizi tahmin edilemez (kayıp yaklaşık ln 26 = 3.26); ondan sonra her harf kopyalanabilir. Model kopyalamayı öğrendi: tekrarlardaki kaybı yaklaşık 0.13 ile 0.15 arası (örneğe bağlı).

Ders kitabı tahmini: bir kafa dikkatinin çoğunu mevcut harfin önceki bir kopyasından sonraki harfe koyar. Bunu ölç. Her kafa için, tekrar konumları üzerinden ortalaması alınmış, j'den önceki harfin mevcut harfe eşit olduğu j konumlarına düşen dikkat payı. Bütün önceki konumlara eşit yayılan düzgün dikkatle karşılaştır. Sonra her kafayı kaldır ve tekrar kaybını ölç.

Önce tahmin et: bir kafa dikkatinin yarısından fazlasını oraya koyacak mı?

Alan şu an nerede İndüksiyon kafaları gerçektir: Olsson vd. (2022) onları sıradan metin üzerinde eğitilmiş modellerde, yalnızca dikkatli iki katmanlı modeller dahil, ani bir faz değişimiyle oluşurken buldu. Burada neden yok? Bu modelin MLP'leri ve katman normalleştirmesi var, birkaç olası çözümü olan tek bir sentetik kopyalama görevi üzerinde kısaca eğitildi, ve başka birini buldu. Dersin amacı bu, ve aynı zamanda sınırı: yayınlanmış bir etkiyi göstermeyen bir oyuncak ona karşı kanıt değildir. Bu kursun küçük modellerinden gelen sonuçlar o modellerin ölçümleridir; ölçekte bazıları tutar bazıları tutmaz.

Bu dersteki kelimeler ve semboller
yorumlanabilirlik
eğitilmiş bir ağın içinde ne hesapladığını bulmak, ve kontrol etmek
örüntü, etki, mekanizma
üç tür kanıt: baktın ve gördün; değiştirdin ve çıktı değişti; açıkladın ve açıklama yeni durumları tahmin etti
indüksiyon kafası
mevcut token'ın önceki bir kopyasını bulup ondan sonraki token'a dikkat eden bir kafa
Senin sıran

my_guess değerini "yes" ya da "no" olarak ayarla. induction_share(A, X, Ls) yaz: bir kafanın dikkat ağırlıkları A (B, t, t) için, b satırları ve tekrar konumları i (Ls[b]'den t - 1'e) üzerinden, X[b, j - 1] == X[b, i] (j ≥ 1) olan j ≤ i konumlarındaki dikkatin ortalaması. 8 kafa için share[(layer, head)]'i ve o kafa sıfıra ayarlandığındaki tekrar kaybıyla removed[(layer, head)]'i doldur. needed'ı kaldırılması en çok zarar veren kafaya ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.