シラバス レッスン 246 中 85 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

関門:訓練できない深いネットワークを訓練させる(AI オフ)

なぜ大切か 学ばない深いネットワークを直すことは、この分野で最もよくある本物の仕事のひとつです。ここではひとりでします。

AI のチューターはオフです。下の 30 層のネットワークは、決して硬貨投げから抜け出しません。このモジュールの何を使っても、どう始めるかとブロックをどうつなぐかを変えて構いませんが、幅 16 の 30 の隠れ層と、素朴な SGD の 300 ステップは保ってください。

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
あなたの番

訓練が月で少なくとも 90% の訓練の正解率に届くよう、build(rng) と forward(params, X) を編集してください。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。