シラバス レッスン 246 中 60 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

確認の道具をエンジンに向ける

なぜ大切か 規則がひとつ間違ったエンジンは、ゆっくり悪く訓練され、決して気づかないかもしれません。これからは、新しい操作はどれも使う前に確かめます。

モジュール 3 の確認の道具は NumPy の配列を動かしました。ここでは、Tensor の data をその場で動かし、計算を作り直し、backward が .grad に残したものと比べます。

作り方:(1) 出力を作り、backward() を一度呼んでエンジンの勾配を得る。(2) それぞれの入力とそれぞれの項目について、data を上下に動かし、作り直し、出力の値を読む。(3) 最も大きな相対誤差を報告する。

まとめ 新しい逆向きの規則は、確認を通るまで決して信頼しないこと。

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

engine_check(build, inputs) を書いてください:build() は、リスト inputs の Tensor から計算したスカラーの Tensor を返します。エンジンの勾配と動かしたものの間の、最も大きな相対誤差を返します。backward を呼ぶ前に、それぞれの入力の grad をゼロにリセットしてください。隠れたテストは、エンジンに 3 つのバグをひとつずつ仕込みます。確認の道具はそれぞれに 1e-3 を超える値を、正しいエンジンには 1e-6 未満を報告しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。