モジュール 16:ゲームをする 2 つのネットワーク(GAN、選択)
ときに助けになる工夫
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か GAN の論文やブログの記事は何十もの工夫を挙げます。そのほとんどはひとつの設定で、しばしばひとつのシードで示されました。ここでは同じ崩壊の上で、記録した 8 つのシードで 4 つを試し、読んだことではなく測ったことを報告します。
4 つの工夫、それぞれ 8 つのノイズの数で崩壊する GAN にかけます:
- ラベルのならし:D は本物の標本が 1 ではなく 0.8 本物だと教わるので、決して確信しすぎない。
- インスタンスのノイズ:D が見るどの点にも少しのノイズを足し、訓練のあいだに 0 まで縮めるので、初めのうちは本物と偽物が重なる。
- スペクトル正規化:D のどの重みの行列もその最大の伸びで割るので、D は小さな変化に鋭く反応しすぎられない。
- 学習率のつり合い:G を D より遅く(g_lr 2.5e-4)か、速く(g_lr 3e-3)。
モジュール 9 の精神を使ってください:差が数えられるのは、シードの間のノイズよりはっきり大きいときだけです。それぞれの工夫を素の実行とシードごとに比べてください(同じシード、対にして):
- helped(助けになった):平均の塊が少なくとも 1 高く、かつ 8 つのシードのうち少なくとも 6 つでより多くの塊。
- hurt(害になった):平均の塊が少なくとも 1 低く、少なくとも 6 つのシードでより少ない、または平均の質が少なくとも 0.25 低く、少なくとも 6 つのシードでより低い(塊を保つが点をばらまく生成器は、助けられていない)。
- それ以外は no clear change(はっきりした変化なし)。
このレッスンの言葉と記号
- GAN
- 敵対的生成ネットワーク:互いに対して訓練する生成器と識別器
- 生成器(G)
- ノイズを標本に変えるネットワーク
- おおった塊、質
- 輪の審査員:点の 2% より多くを持つ塊と、塊の上にある点の割合
- ラベルのならし
- 1 の代わりに 0.8 の本物のラベルで D を訓練すること
- インスタンスのノイズ
- D が見るすべてに足すノイズで、訓練のあいだに 0 まで縮む
- スペクトル正規化
- D のそれぞれの重みの行列をその最大の伸びで割ること
あなたの番
記録した実行から "helped"、"hurt"、"no clear change" を返す verdict(trick) を書いてください。それから 5 つの工夫の実行のそれぞれについて、あなたの判定で report を埋めてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。