モジュール 8:訓練クリニック I
自分の探り
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か 探りは、実行の中を見るやり方です。自分で書けば、道具がその数を見せたときに、それが何を意味するかがわかります。
3 つの探りが作業のほとんどをします:
- 層ごとの勾配の大きさ:それぞれの重みの行列の勾配の長さ(ノルム)。すべてゼロ:何も学ばない。層の間でとんでもなく違う:ある層が飢えている。
- 死んだ割合:バッチのどの例でもゼロを出力する隠れたユニットの割合。
- 更新と重みの比:学習率掛ける勾配の大きさを、重みの大きさで割ったもの。1 回の歩みがそれぞれの重みのどれだけの割合を変えるかを言う。約 0.001 から 0.1 が健全。1 に近いとどの歩みも重みを書き換え、0 に近いと何も動かない。
この道具は中身を見せてくれます:_data(c) は訓練のデータを、_init(c) は始まりの重みを返し、_fb(p, X, y, c) は(損失、勾配、隠れた活性化)を返します。
このレッスンの言葉と記号
- 探り
- 勾配の大きさや死んだユニットのような、実行の手早い測定
- 更新と重みの比
- 1 回の歩みが、それぞれの重みをその大きさに対してどれだけ変えるか
あなたの番
最初の 256 の訓練の例と始まりの重みを使って、my_grad_norms(c)、my_dead_share(c)、my_update_ratio(c) を書いてください。クリニックの探りと一致しなければなりません。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。