ひとつの値を戻す:活性化のパッチ
なぜ大切か 活性化のパッチ(Meng ら 2022、Wang ら 2022)は、ひとつの値をある実行から別の実行に動かすことで、「この部品は答えとそろう」を「この部品が答えを運ぶ」に変えます。
1 文字だけ違う 2 つの入力:
- きれいなもの:"the gradient of the los":GPT は次の文字 "s" に確率 0.91 を与える。
- 壊したもの:"the gradient of the bos":0.39。
壊した入力を走らせますが、ひとつの場所とひとつの位置で、きれいな実行からのベクトルに入れ替えます。"s" の確率が 0.91 に跳ね戻れば、そのベクトルは "l" がモデルに伝えたことを運んでいたのです。interp.patch(model, clean_ids, bad_ids, site, pos) が入れ替えをして logits を返し、interp.next_prob(logits, answer, model) が確率を読みます。
最後の 5 つの位置について、'resid0'(ブロック 0 の前なので、埋め込みだけ)、'resid1'(ブロックの間)、'final' で試してください。
まず予測してください:'resid1' では、"l" はまだ自分の位置で運ばれているか、どこか別のところか?
このレッスンの言葉と記号
- 活性化のパッチ
- その値が何を運ぶかを見るため、別の入力の実行から取った値で、ひとつの入力を走らせること
my_guess を "own position" か "somewhere else" に設定してください。restored[site] を、len(clean) - 5 から最後までの位置ごとにひとつの、5 つの確率のリストで埋めます。それから where[site] を、それを戻す位置にある clean の文字に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。