シラバス レッスン 246 中 220 · モジュール 21:モデルの中を見る
モジュール 21:モデルの中を見る

ひとつの値を戻す:活性化のパッチ

なぜ大切か 活性化のパッチ(Meng ら 2022、Wang ら 2022)は、ひとつの値をある実行から別の実行に動かすことで、「この部品は答えとそろう」を「この部品が答えを運ぶ」に変えます。

1 文字だけ違う 2 つの入力:

  • きれいなもの:"the gradient of the los":GPT は次の文字 "s" に確率 0.91 を与える。
  • 壊したもの:"the gradient of the bos":0.39。

壊した入力を走らせますが、ひとつの場所とひとつの位置で、きれいな実行からのベクトルに入れ替えます。"s" の確率が 0.91 に跳ね戻れば、そのベクトルは "l" がモデルに伝えたことを運んでいたのです。interp.patch(model, clean_ids, bad_ids, site, pos) が入れ替えをして logits を返し、interp.next_prob(logits, answer, model) が確率を読みます。

最後の 5 つの位置について、'resid0'(ブロック 0 の前なので、埋め込みだけ)、'resid1'(ブロックの間)、'final' で試してください。

まず予測してください:'resid1' では、"l" はまだ自分の位置で運ばれているか、どこか別のところか?

このレッスンの言葉と記号
活性化のパッチ
その値が何を運ぶかを見るため、別の入力の実行から取った値で、ひとつの入力を走らせること
あなたの番

my_guess を "own position" か "somewhere else" に設定してください。restored[site] を、len(clean) - 5 から最後までの位置ごとにひとつの、5 つの確率のリストで埋めます。それから where[site] を、それを戻す位置にある clean の文字に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。