確認の道具をエンジンに向ける
なぜ大切か 規則がひとつ間違ったエンジンは、ゆっくり悪く訓練され、決して気づかないかもしれません。これからは、新しい操作はどれも使う前に確かめます。
モジュール 3 の確認の道具は NumPy の配列を動かしました。ここでは、Tensor の data をその場で動かし、計算を作り直し、backward が .grad に残したものと比べます。
作り方:(1) 出力を作り、backward() を一度呼んでエンジンの勾配を得る。(2) それぞれの入力とそれぞれの項目について、data を上下に動かし、作り直し、出力の値を読む。(3) 最も大きな相対誤差を報告する。
まとめ 新しい逆向きの規則は、確認を通るまで決して信頼しないこと。
このレッスンの言葉と記号
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- .grad
- この Tensor についての、最終的な損失の勾配
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
engine_check(build, inputs) を書いてください:build() は、リスト inputs の Tensor から計算したスカラーの Tensor を返します。エンジンの勾配と動かしたものの間の、最も大きな相対誤差を返します。backward を呼ぶ前に、それぞれの入力の grad をゼロにリセットしてください。隠れたテストは、エンジンに 3 つのバグをひとつずつ仕込みます。確認の道具はそれぞれに 1e-3 を超える値を、正しいエンジンには 1e-6 未満を報告しなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。