シラバス レッスン 246 中 95 · モジュール 8:訓練クリニック I
モジュール 8:訓練クリニック I

自分の探り

なぜ大切か 探りは、実行の中を見るやり方です。自分で書けば、道具がその数を見せたときに、それが何を意味するかがわかります。

3 つの探りが作業のほとんどをします:

  • 層ごとの勾配の大きさ:それぞれの重みの行列の勾配の長さ(ノルム)。すべてゼロ:何も学ばない。層の間でとんでもなく違う:ある層が飢えている。
  • 死んだ割合:バッチのどの例でもゼロを出力する隠れたユニットの割合。
  • 更新と重みの比:学習率掛ける勾配の大きさを、重みの大きさで割ったもの。1 回の歩みがそれぞれの重みのどれだけの割合を変えるかを言う。約 0.001 から 0.1 が健全。1 に近いとどの歩みも重みを書き換え、0 に近いと何も動かない。

この道具は中身を見せてくれます:_data(c) は訓練のデータを、_init(c) は始まりの重みを返し、_fb(p, X, y, c) は(損失、勾配、隠れた活性化)を返します。

このレッスンの言葉と記号
探り
勾配の大きさや死んだユニットのような、実行の手早い測定
更新と重みの比
1 回の歩みが、それぞれの重みをその大きさに対してどれだけ変えるか
あなたの番

最初の 256 の訓練の例と始まりの重みを使って、my_grad_norms(c)、my_dead_share(c)、my_update_ratio(c) を書いてください。クリニックの探りと一致しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。