シラバス レッスン 246 中 157 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

あなたのエンジンを PyTorch の言葉で

なぜ大切か このコースの次の日に、PyTorch(か別のフレームワーク)に出会うでしょう。作ったものはすべてそれに対応します。違うのはいくつかの決まりごとだけで、人がコードを移すときのバグのほとんどはそれが起こします。

PyTorch はこのブラウザでは動かないので、このレッスンはコースの配列を NumPy で PyTorch の並べ方に変え、その変換をちょうど確かめます。

ものこのコースPyTorch
線形の重みW は (n_in, n_out)、出力 x @ W + bweight は (out, in)、出力 x @ weight.T + bias
始めの重みどの層も広がり sqrt(2 / n_in) の正規分布(He)、バイアス 0nn.Linear の既定:約 ±1 / sqrt(n_in) の中の一様分布、バイアスも一様
画像チャンネルが最後、(N, H, W, C)チャンネルが最初、(N, C, H, W)
conv の重み(k × k × C_in, C_out)、行は (行, 列, チャンネル) の順(C_out, C_in, k, k)
BatchNorm の走る分散n で割るバッチの分散n - 1 で割る不偏のもの(正規化には今も n を使う)
勾配の消去コースの Adam.step() が自分で消す毎ステップ optimizer.zero_grad() を呼ぶ
どのテンソルが .grad を保つかグラフのすべてのノードretain_grad() を呼ばない限り、重みのような葉のテンソルだけ
GELUz * sigmoid(1.702 z)、近似既定では erf を使う正確な形。速いものには approximate='tanh'
LSTM[x, h] の上のひとつの重みの行列、忘却のバイアスは 1 か 3 で始める2 つのバイアスを持つ別々の入力と隠れの重み、すべて小さくランダムに始める
小さな GPT のブロックReLU、線形の層にバイアスなし:12d² + 4d の重みGPT-2:GELU とバイアス:12d² + 13d

どれも間違いではなく、選択です。移植を黙って壊すのは並べ方です:転置した線形の重みや、チャンネルが最後の画像は、大きさがたまたま合うと、エラーなしで間違った数を返します。

このレッスンの言葉と記号
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
あなたの番

PyTorch の (weight, bias) を返す linear_to_torch(W, b)、nhwc_to_nchw(X)、(C_out, C_in, k, k) の重みを返す conv_to_torch(w, c_in)、そして n で割った分散を n - 1 で割るものに変える unbiased(var, n) を書いてください。隠れたテストは、あなたの重みで PyTorch のやり方で書いたチャンネルが最初の畳み込みを走らせ、コースの conv と比べます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。