シラバス レッスン 246 中 221 · モジュール 21:モデルの中を見る
モジュール 21:モデルの中を見る

どの部品が大切か

なぜ大切か 部品を説明する前に、それが何かをするかを見つけてください。部品を取り除くこと(アブレーション)は測れる最も安い効果で、どこを見るかを変えます。

GPT のどのブロックにも、アテンションの部分('attn_out0'、'attn_out1' に書く)と MLP('mlp_out0'、'mlp_out1' に書く)があります。一度にひとつ取り除き(その出力を 0 にする)、取り分けた損失の上がりを測ってください。それから interp.head_effects(model, X, Y, 1) で、ブロック 1 の 4 つのヘッドのそれぞれを一度にひとつ取り除きます。

ひとつの危険:2 つのヘッドが同じ仕事をするなら、どちらかひとつを取り除いてもほとんど何も現れません。なので、4 つのひとつずつのヘッドの上がりを足し合わせたものを、ブロック 1 のアテンションをすべて一度に取り除くことと比べてもください。一緒に取り除くと和よりずっと害になるなら、互いに予備になっています。

このレッスンの言葉と記号
パターン、効果、仕組み
3 種類の証拠:見て、見えた。変えて、出力が変わった。説明して、その説明が新しい場合を予測した
アブレーション
部品を取り除き(その出力を 0 にし)、何が変わるかを測ること
あなたの番

4 つの部品について rise を、4 つのひとつずつのヘッドの上がりで heads1 を埋め、それから、ブロック 1 のアテンションをすべて取り除く代価が、そのヘッドだけの和の 2 倍より多ければ backup を True に、取り除く代価が最も大きい部品を biggest に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。