Sebuah probe butuh kontrol
Kenapa ini penting Sebuah probe (klasifikasi linear kecil yang dilatih pada vektor internal model) adalah alat yang paling umum dalam interpretabilitas, dan yang paling sering disalahartikan. Akurasi tinggi bisa berarti model yang menghitung hal tersebut, atau probe yang melakukannya.
Kamu sudah bertemu linear probes di Modul 18. Di sini, latih satu pada vektor GPT di dua tempat: 'embed' (embedding karakter ditambah posisinya, sebelum lapisan apa pun) dan 'resid1' (setelah blok pertama). Tiga pertanyaan, masing-masing label 0/1 untuk setiap karakter:
'vowel': apakah karakter ini huruf vokal?'control': apakah itu salah satu dari b, c, g, n, r, s, t? Pengelompokan yang tidak berarti, dipilih agar umum seperti huruf vokal (28.7% dari karakter, berbanding 28.8%).'third letter': apakah itu huruf ketiga dari katanya, atau setelahnya?
Prediksi dulu: jika skor vowel probe mendekati 100%, apakah itu menunjukkan model sudah belajar apa itu vowel?
Kata dan simbol di pelajaran ini
- interpretability
- mencari tahu apa yang dihitung jaringan terlatih di dalamnya, dan memeriksanya
- probe
- klasifikasi linear kecil yang dilatih untuk membaca sesuatu dari vektor internal model
Atur my_guess ke "yes" atau "no". Isi scores[kind][site] dengan probe(site, kind) untuk tiga jenis dan dua lokasi. Lalu atur computed ke satu jenis yang probe-nya menunjukkan sesuatu yang dikerjakan oleh layer (jauh lebih mudah setelah block daripada dari embedding saja).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.