シラバス レッスン 246 中 219 · モジュール 21:モデルの中を見る
モジュール 21:モデルの中を見る

プローブには対照が要る

なぜ大切か プローブ(モデルの中のベクトルの上で訓練した小さな線形の分類器)は解釈可能性で最もよく使われる道具で、最も読み込みすぎられるものです。高い正解率は、モデルがそれを計算したことを意味することも、プローブがそうしたことを意味することもあります。

線形プローブにはモジュール 18 で出会いました。ここでは GPT のベクトルの上で、2 つの場所でひとつ訓練します:'embed'(どの層よりも前の、文字の埋め込み足すその位置)と 'resid1'(最初のブロックのあと)。3 つの問い、それぞれどの文字にも 0/1 のラベル:

  • 'vowel':この文字は母音か?
  • 'control':b、c、g、n、r、s、t のどれかか? 何も意味しないまとまりで、母音と同じくらいよくあるよう選んだもの(文字の 28.7%、母音は 28.8%)。
  • 'third letter':その単語の 3 文字目か、それより後か?

まず予測してください:母音のプローブが 100% 近くの点数を出したら、それはモデルが母音とは何かを学んだことを示すか?

このレッスンの言葉と記号
解釈可能性
訓練したネットワークが中で何を計算しているかを見つけ、それを確かめること
プローブ
モデルの中のベクトルから何かを読むよう訓練した、小さな線形の分類器
あなたの番

my_guess を "yes" か "no" に設定してください。3 つの種類と 2 つの場所について probe(site, kind) で scores[kind][site] を埋めます。それから computed を、プローブが層の割り出した何かを示すただひとつの種類に設定してください(埋め込みだけからよりブロックのあとのほうがずっと簡単なもの)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。