どの部品が大切か
なぜ大切か 部品を説明する前に、それが何かをするかを見つけてください。部品を取り除くこと(アブレーション)は測れる最も安い効果で、どこを見るかを変えます。
GPT のどのブロックにも、アテンションの部分('attn_out0'、'attn_out1' に書く)と MLP('mlp_out0'、'mlp_out1' に書く)があります。一度にひとつ取り除き(その出力を 0 にする)、取り分けた損失の上がりを測ってください。それから interp.head_effects(model, X, Y, 1) で、ブロック 1 の 4 つのヘッドのそれぞれを一度にひとつ取り除きます。
ひとつの危険:2 つのヘッドが同じ仕事をするなら、どちらかひとつを取り除いてもほとんど何も現れません。なので、4 つのひとつずつのヘッドの上がりを足し合わせたものを、ブロック 1 のアテンションをすべて一度に取り除くことと比べてもください。一緒に取り除くと和よりずっと害になるなら、互いに予備になっています。
このレッスンの言葉と記号
- パターン、効果、仕組み
- 3 種類の証拠:見て、見えた。変えて、出力が変わった。説明して、その説明が新しい場合を予測した
- アブレーション
- 部品を取り除き(その出力を 0 にし)、何が変わるかを測ること
4 つの部品について rise を、4 つのひとつずつのヘッドの上がりで heads1 を埋め、それから、ブロック 1 のアテンションをすべて取り除く代価が、そのヘッドだけの和の 2 倍より多ければ backup を True に、取り除く代価が最も大きい部品を biggest に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。