シラバス レッスン 246 中 145 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

因果マスク:のぞき見なし

なぜ大切か 次の文字を予測するよう訓練したモデルは、次の文字を見てはいけません。マスクがなければ答えを写すだけで済み、訓練ではすばらしく見え、それから生成のときに失敗します。生成のときには未来はまだ存在しないからです。

見てみる

アニメーションを再生してください。位置 i がアテンションを向けてよいのは位置 0 から i だけです。ソフトマックスの前に、対角線より上のどの点数もマイナス無限大にされるので、その重みはちょうど 0 になります。すると重みは下三角を作ります。

漏れの試験は直接的です:位置 j の文字を変え、モデルが j より前の位置について計算するものが何も変わってはいけません。

コースが幅 32 の GPT をマスクなしで 1,200 ステップ訓練したとき、その訓練の損失は 0.10 まで落ちました。マスクありでは 1.51:次の位置から答えを写すことを、ほぼ完璧に学んでいたのです。見たことのない文章で、先を見させずに正直に測ると、その損失は 2.3 に対して 8.6 でした。低いほうの数は嘘でした:モデルはずっと悪かったのです。(初めのうち、400 ステップでは、2 つの実行はまだ似て見えました、2.24 に対して 2.28。写すことは見つけるのに時間がかかり、それから乗っ取ります。)

このレッスンの言葉と記号
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
因果マスク
対角線より上の点数をマイナス無限大にすること:どの位置も未来を見ない
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
あなたの番

レッスン 4 と同じですがマスクのある causal_attention(X, Wq, Wk, Wv) を書いてください。それから leaks(f):ランダムな X の最後の行を変えると f の出力のそれより前のどれかの行が変わるなら True を返します。ここで f は、あなたのものと同じく f(X, Wq, Wk, Wv) と呼ばれ (output, weights) を返す、どんなアテンションの関数でもあります。ランダムな X と重みは leaks の中で作ってください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。