シラバス レッスン 246 中 222 · モジュール 21:モデルの中を見る
モジュール 21:モデルの中を見る

帰納ヘッドを探す

なぜ大切か 帰納ヘッド(Olsson ら 2022)は解釈可能性で最もよく知られた話です:あるヘッドが今のトークンの前の写しを見つけ、そのあとのトークンにアテンションを向けるので、モデルは繰り返しを続けられる。大きなモデルではそれは本物です。間違いは、小さなモデルが写すからといって、同じやり方で写すと思い込むことです。

コースは写すことだけのために 2 ブロックの GPT を訓練しました:どの行も 4 から 16 文字のランダムな並びで、32 の位置を埋めるよう繰り返されます。最初の並びは予測できず(損失約 ln 26 = 3.26)、そのあとはどの文字も写せます。モデルは写すことを学びました:繰り返しでのその損失は約 0.13 から 0.15 です(標本による)。

教科書の予測:あるヘッドがそのアテンションのほとんどを 今の文字の前の写しのあとの文字 に置く。それを測ってください。それぞれのヘッドについて、繰り返しの位置の上で平均した、j の前の文字が今の文字と等しい位置 j に落ちるアテンションの割合。前のすべての位置に均等に広がる一様なアテンションと比べてください。それからそれぞれのヘッドを取り除き、繰り返しの損失を測ります。

まず予測してください:あるヘッドがそのアテンションの半分より多くをそこに置くか?

この分野の今 帰納ヘッドは本物です:Olsson ら(2022)は、アテンションだけの 2 層のモデルを含め、ふつうの文章で訓練したモデルで、突然の相転移でそれができるのを見つけました。なぜここではないのか? このモデルは MLP と層の正規化を持ち、いくつかの可能な解を持つひとつの人工的な写しの課題で短く訓練され、別の解を見つけたのです。それがレッスンの要点で、その限界でもあります:発表された効果を見せないおもちゃは、それに反する証拠ではありません。このコースの小さなモデルからの結果は、それらのモデルの測定です。大きな規模では、成り立つものもあれば、成り立たないものもあるでしょう。

このレッスンの言葉と記号
解釈可能性
訓練したネットワークが中で何を計算しているかを見つけ、それを確かめること
パターン、効果、仕組み
3 種類の証拠:見て、見えた。変えて、出力が変わった。説明して、その説明が新しい場合を予測した
帰納ヘッド
今のトークンの前の写しを見つけ、そのあとのトークンにアテンションを向けるヘッド
あなたの番

my_guess を "yes" か "no" に設定してください。induction_share(A, X, Ls) を書きます:ひとつのヘッドのアテンションの重み A (B, t, t) について、行 b と繰り返しの位置 i(Ls[b] から t - 1)の上での、X[b, j - 1] == X[b, i](j ≥ 1)である位置 j ≤ i へのアテンションの平均。8 つのヘッドについて share[(layer, head)] を、そのヘッドを 0 にしたときの繰り返しの損失で removed[(layer, head)] を埋めてください。needed を、取り除くと最も害になるヘッドに設定します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。