Silabus Pelajaran 222 dari 246 · Modul 21: Melihat ke dalam sebuah model
Modul 21: Melihat ke dalam sebuah model

Mencari induction head

Kenapa ini penting Induction head (Olsson et al. 2022) adalah cerita yang paling dikenal dalam interpretability: satu head menemukan salinan sebelumnya dari token saat ini dan memperhatikan token setelahnya, sehingga model bisa melanjutkan pengulangan. Ini nyata pada model besar. Kesalahannya adalah menganggap model kecil menyalin dengan cara yang sama hanya karena ia menyalin.

Kursus ini melatih GPT 2-block hanya untuk menyalin: setiap baris adalah urutan acak 4 sampai 16 huruf, diulang untuk mengisi 32 posisi. Urutan pertama tidak bisa diprediksi (loss sekitar ln 26 = 3.26); setelah itu, setiap huruf bisa disalin. Model belajar untuk menyalin: loss pada pengulangan adalah sekitar 0.13 sampai 0.15 (tergantung sampel).

Prediksi buku teks: beberapa head memberikan perhatian terbanyak pada huruf setelah salinan sebelumnya dari huruf saat ini. Ukur itu. Untuk setiap head, bagian perhatian yang dirata-ratakan di atas posisi pengulangan, yang jatuh pada posisi j di mana huruf sebelum j sama dengan huruf saat ini. Bandingkan dengan perhatian seragam, yang tersebar merata di semua posisi sebelumnya. Lalu hapus setiap head dan ukur repeat loss.

Prediksi dulu: apakah satu head akan memberikan lebih dari setengah perhatiannya di sana?

Di mana bidangnya sekarang Induction heads itu nyata: Olsson et al. (2022) menemukan mereka terbentuk, dalam perubahan fase yang tiba-tiba, pada model yang dilatih pada teks biasa, termasuk model dua lapis dengan attention saja. Kenapa tidak di sini? Model ini punya MLPs dan layer norm, dilatih sebentar pada satu tugas penyalinan sintetis dengan beberapa solusi yang mungkin, dan ia menemukan solusi lainnya. Itulah poin dari pelajaran ini, dan juga batasannya: mainan yang tidak menunjukkan efek yang dipublikasikan bukanlah bukti yang menentangnya. Hasil dari model kecil kursus ini adalah pengukuran dari model tersebut; dalam skala besar, beberapa akan bertahan dan beberapa tidak.

Kata dan simbol di pelajaran ini
interpretability
mencari tahu apa yang dihitung oleh jaringan yang sudah dilatih di dalamnya, dan memeriksanya
pola, efek, mekanisme
tiga jenis bukti: melihat dan mengamati; mengubahnya dan output berubah; menjelaskannya dan penjelasan tersebut memprediksi kasus baru
head induksi
a head yang mencari salinan token sebelumnya dan memperhatikan token setelahnya
Giliranku

Atur my_guess ke "yes" atau "no". Tulis induction_share(A, X, Ls): untuk bobot atensi A (B, t, t) dari satu head, rata-rata baris b dan posisi berulang i (dari Ls[b] sampai t - 1) dari atensi pada posisi j ≤ i dengan X[b, j - 1] == X[b, i] (j ≥ 1). Isi share[(layer, head)] untuk 8 head dan removed[(layer, head)] dengan repeat loss saat head tersebut diatur ke nol. Atur needed ke head yang penghapusannya paling merugikan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.