シラバス レッスン 246 中 49 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

素の NumPy での数字を読む道具

なぜ大切か これは、すべての行をあなたが書いた、本物の手書きを読む本物のニューラルネットワークです。ライブラリなしで作った、昔ながらの最初のネットワークです。

データは 1,797 の手書きの数字で、それぞれ 64 の数に平らにした 8 × 8 の画像です(有名な 28 × 28 の MNIST のセットの、小さく解像度の低い親戚で、別の集まりから)。ネットワークは前のレッスンのものです:64 の入力、64 の ReLU のニューロンの隠れ層、10 の出力。

訓練のループ

  1. 重みを小さくランダムに始める:rng.normal(0, 0.1, shape)、バイアスはゼロ。
  2. エポックごとに、訓練のデータを混ぜ、32 のミニバッチでたどる。
  3. それぞれのミニバッチについて forward_backward を動かし、すべての重みをその勾配に逆らって進める。

ミニバッチ:1 回のステップに使うデータの小さなランダムな切れ端です。毎ステップすべてのデータを使うよりずっと速く、その雑音は役にさえ立ちます。

曲線を当てる:エポック 1 のあととエポック 20 のあとの訓練の損失を my_guess に推測してください。

まとめ 混ぜ、切り、前向き、逆向き、進む。繰り返す。

このレッスンの言葉と記号
ニューロン
w . x + b、それから活性化
重み (w, W)、バイアス (b)
ニューロンが学ぶ数。バイアスはその出力をずらす
ReLU
max(0, z):正を残し、負をゼロにする
学習率 (lr)
訓練のそれぞれのステップの大きさ
隠れ層
入力と出力の間の、新しい特徴を作る層
あなたの番

自分の forward_backward を使って、重みの辞書を返す train(X, y, hidden, lr, epochs, seed) と、それぞれの行の予測した数字を返す predict(params, X) を書いてください。my_guess を埋めてください。隠れたテストは、一度も訓練しなかった 397 の数字で正解率を測ります:少なくとも 95% に届いてください。(lr 0.5、20 エポック、64 の隠れたもので動きます。)

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。