あなたのエンジンを PyTorch の言葉で
なぜ大切か このコースの次の日に、PyTorch(か別のフレームワーク)に出会うでしょう。作ったものはすべてそれに対応します。違うのはいくつかの決まりごとだけで、人がコードを移すときのバグのほとんどはそれが起こします。
PyTorch はこのブラウザでは動かないので、このレッスンはコースの配列を NumPy で PyTorch の並べ方に変え、その変換をちょうど確かめます。
| もの | このコース | PyTorch |
|---|---|---|
| 線形の重み | W は (n_in, n_out)、出力 x @ W + b | weight は (out, in)、出力 x @ weight.T + bias |
| 始めの重み | どの層も広がり sqrt(2 / n_in) の正規分布(He)、バイアス 0 | nn.Linear の既定:約 ±1 / sqrt(n_in) の中の一様分布、バイアスも一様 |
| 画像 | チャンネルが最後、(N, H, W, C) | チャンネルが最初、(N, C, H, W) |
| conv の重み | (k × k × C_in, C_out)、行は (行, 列, チャンネル) の順 | (C_out, C_in, k, k) |
| BatchNorm の走る分散 | n で割るバッチの分散 | n - 1 で割る不偏のもの(正規化には今も n を使う) |
| 勾配の消去 | コースの Adam.step() が自分で消す | 毎ステップ optimizer.zero_grad() を呼ぶ |
どのテンソルが .grad を保つか | グラフのすべてのノード | retain_grad() を呼ばない限り、重みのような葉のテンソルだけ |
| GELU | z * sigmoid(1.702 z)、近似 | 既定では erf を使う正確な形。速いものには approximate='tanh' |
| LSTM | [x, h] の上のひとつの重みの行列、忘却のバイアスは 1 か 3 で始める | 2 つのバイアスを持つ別々の入力と隠れの重み、すべて小さくランダムに始める |
| 小さな GPT のブロック | ReLU、線形の層にバイアスなし:12d² + 4d の重み | GPT-2:GELU とバイアス:12d² + 13d |
どれも間違いではなく、選択です。移植を黙って壊すのは並べ方です:転置した線形の重みや、チャンネルが最後の画像は、大きさがたまたま合うと、エラーなしで間違った数を返します。
このレッスンの言葉と記号
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
PyTorch の (weight, bias) を返す linear_to_torch(W, b)、nhwc_to_nchw(X)、(C_out, C_in, k, k) の重みを返す conv_to_torch(w, c_in)、そして n で割った分散を n - 1 で割るものに変える unbiased(var, n) を書いてください。隠れたテストは、あなたの重みで PyTorch のやり方で書いたチャンネルが最初の畳み込みを走らせ、コースの conv と比べます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。