Müfredat 246 dersinden 219. · Modül 21: Bir modelin içine bakmak
Modül 21: Bir modelin içine bakmak

Bir yoklama bir kontrole ihtiyaç duyar

Neden önemli Bir yoklama (bir modelin iç vektörleri üzerinde eğitilmiş küçük doğrusal bir sınıflandırıcı) yorumlanabilirlikteki en yaygın araçtır, ve en çok aşırı yorumlananı. Yüksek doğruluk modelin şeyi hesapladığı, ya da yoklamanın hesapladığı anlamına gelebilir.

Doğrusal yoklamalarla Modül 18'de tanıştın. Burada GPT'nin vektörleri üzerinde iki yerde bir tane eğit: 'embed' (karakterin gömmesi artı konumu, herhangi bir katmandan önce) ve 'resid1' (ilk bloktan sonra). Her biri her karakter için bir 0/1 etiket olan üç soru:

  • 'vowel': bu karakter bir ünlü mü?
  • 'control': b, c, g, n, r, s, t'den biri mi? Hiçbir anlamı olmayan, ünlüler kadar yaygın olsun diye seçilmiş bir gruplama (karakterlerin %28.8'ine karşı %28.7'si).
  • 'third letter': kelimesinin üçüncü harfi mi, ya da daha sonrası mı?

Önce tahmin et: ünlü yoklaması %100'e yakın puan alırsa bu modelin ünlünün ne olduğunu öğrendiğini gösterir mi?

Bu dersteki kelimeler ve semboller
yorumlanabilirlik
eğitilmiş bir ağın içinde ne hesapladığını bulmak, ve kontrol etmek
yoklama
bir modelin iç vektörlerinden bir şey okumak için eğitilmiş küçük doğrusal bir sınıflandırıcı
Senin sıran

my_guess değerini "yes" ya da "no" olarak ayarla. Üç tür ve iki yer için scores[kind][site]'ı probe(site, kind) ile doldur. Sonra computed'ı, yoklaması katmanın hesapladığı bir şeyi gösteren tek türe ayarla (bloktan sonra yalnızca gömmeden olduğundan çok daha kolay).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.