数字の上の小さな CNN
なぜ大切か これは 1998 年の LeNet の考えです:畳み込み、プーリング、畳み込み、プーリング、それから分類器。勝ち取ったコースの層からそれを組み、ずらした数字で MLP に勝つのを見てください。
コースのライブラリ nnsim.engine は、あなたが作った層を持っています:conv(3 × 3、same のパディング)、relu、pool2(2 × 2 の平均)、gap(全体の平均プーリング)、matmul、cross_entropy、そして Adam。C_in から C_out チャンネルへの 3 × 3 のフィルターの conv の重みは、形 (9 * C_in, C_out) を持ちます。
コースのライブラリを 1 枚のカードで(コースの残りのあいだ手元に置いてください。どのレッスンでも print(E.GUIDE) がまた見せます)
E.T(array)は数をテンソルとして包む。.dataは配列(float32)。.gradはbackward()が届くまでNone。loss.backward()は、損失が依存するすべてのテンソルの.gradを埋める。opt = E.Adam(params, lr)はテンソルのリストを取る。opt.step()は勾配を持つものすべてを更新し、それからその.gradをNoneに戻すので、自分で勾配を 0 にすることはない。- 画像はチャンネルが最後:(batch, rows, columns, channels)。
E.conv(x, w)は大きさを保ち(same のパディング)、形 (9 * C, F) のwで C チャンネルを F に変える。E.pool2は行と列を半分にする。E.gapはそれらを平均して消し、(batch, channels) を返す。 E.cross_entropy(logits, y):logits はテンソルとしての (batch, classes)、y はふつうの整数の配列。ひとつの数を持つテンソルを返す。float(loss.data)がそれを読む。- 訓練の一歩全体は 3 行:
loss = E.cross_entropy(forward(Xb), yb)、loss.backward()、opt.step()。 - 記録した実行:
print(R.experiment(name))はその設定と指標の名前を挙げる。run = exp.run(setting=value, ...)、それからrun.loss(ステップと損失の組)、run.metrics(辞書)とrun.final_loss。
グラフで曲線を当ててください:エポック 1 のあとと、エポック 8(最後)のあとの訓練の損失を予想します。
このレッスンの言葉と記号
- 畳み込み
- 重みの小さな格子(フィルター)を画像の上で滑らせ、位置ごとにひとつの内積を取ること
- フィルター、特徴マップ
- 学習した重みの小さな格子。そしてその反応の画像
- パディング (p)、ストライド (s)
- 端のまわりに加えるゼロ。フィルターが一歩ごとに何画素動くか
- プーリング
- それぞれのかたまりの最大か平均を残してマップを縮めること
- RECORDED(記録)
- コースが一度訓練し、学べるように同梱している本物の実行
my_guess を埋め、それから関数 predict(X) を返す train(epochs, seed) を書いてください。conv(1 から 16) + relu、conv(16 から 32) + relu、全体の平均プーリング、それから 10 クラスへの線形の層を使います。テストの数字で少なくとも 90%、2 画素ずらしたテストの数字で少なくとも 60%(MLP は約 21% でした)に届いてください。ずらしたときの点数はシードごとによく動くので(コース自身の答えは 5 つのシードで 0.76 から 0.89)、基準はそれよりずっと下にあります。ここでは学習率約 1e-2 の Adam が効きます。3e-3 では、この小さなネットワークはレッスンには遅すぎる学び方をします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。