シラバス レッスン 246 中 119 · モジュール 10:見るネットワーク(CNN)
モジュール 10:見るネットワーク(CNN)

数字の上の小さな CNN

なぜ大切か これは 1998 年の LeNet の考えです:畳み込み、プーリング、畳み込み、プーリング、それから分類器。勝ち取ったコースの層からそれを組み、ずらした数字で MLP に勝つのを見てください。

コースのライブラリ nnsim.engine は、あなたが作った層を持っています:conv(3 × 3、same のパディング)、relu、pool2(2 × 2 の平均)、gap(全体の平均プーリング)、matmul、cross_entropy、そして Adam。C_in から C_out チャンネルへの 3 × 3 のフィルターの conv の重みは、形 (9 * C_in, C_out) を持ちます。

コースのライブラリを 1 枚のカードで(コースの残りのあいだ手元に置いてください。どのレッスンでも print(E.GUIDE) がまた見せます)

  • E.T(array) は数をテンソルとして包む。.data は配列(float32)。.grad は backward() が届くまで None。
  • loss.backward() は、損失が依存するすべてのテンソルの .grad を埋める。
  • opt = E.Adam(params, lr) はテンソルのリストを取る。opt.step() は勾配を持つものすべてを更新し、それからその .grad を None に戻すので、自分で勾配を 0 にすることはない。
  • 画像はチャンネルが最後:(batch, rows, columns, channels)。E.conv(x, w) は大きさを保ち(same のパディング)、形 (9 * C, F) の w で C チャンネルを F に変える。E.pool2 は行と列を半分にする。E.gap はそれらを平均して消し、(batch, channels) を返す。
  • E.cross_entropy(logits, y):logits はテンソルとしての (batch, classes)、y はふつうの整数の配列。ひとつの数を持つテンソルを返す。float(loss.data) がそれを読む。
  • 訓練の一歩全体は 3 行:loss = E.cross_entropy(forward(Xb), yb)、loss.backward()、opt.step()。
  • 記録した実行:print(R.experiment(name)) はその設定と指標の名前を挙げる。run = exp.run(setting=value, ...)、それから run.loss(ステップと損失の組)、run.metrics(辞書)と run.final_loss。

グラフで曲線を当ててください:エポック 1 のあとと、エポック 8(最後)のあとの訓練の損失を予想します。

このレッスンの言葉と記号
畳み込み
重みの小さな格子(フィルター)を画像の上で滑らせ、位置ごとにひとつの内積を取ること
フィルター、特徴マップ
学習した重みの小さな格子。そしてその反応の画像
パディング (p)、ストライド (s)
端のまわりに加えるゼロ。フィルターが一歩ごとに何画素動くか
プーリング
それぞれのかたまりの最大か平均を残してマップを縮めること
RECORDED(記録)
コースが一度訓練し、学べるように同梱している本物の実行
あなたの番

my_guess を埋め、それから関数 predict(X) を返す train(epochs, seed) を書いてください。conv(1 から 16) + relu、conv(16 から 32) + relu、全体の平均プーリング、それから 10 クラスへの線形の層を使います。テストの数字で少なくとも 90%、2 画素ずらしたテストの数字で少なくとも 60%(MLP は約 21% でした)に届いてください。ずらしたときの点数はシードごとによく動くので(コース自身の答えは 5 つのシードで 0.76 から 0.89)、基準はそれよりずっと下にあります。ここでは学習率約 1e-2 の Adam が効きます。3e-3 では、この小さなネットワークはレッスンには遅すぎる学び方をします。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。