シラバス レッスン 246 中 179 · モジュール 16:ゲームをする 2 つのネットワーク(GAN、選択)
モジュール 16:ゲームをする 2 つのネットワーク(GAN、選択)

ときに助けになる工夫

なぜ大切か GAN の論文やブログの記事は何十もの工夫を挙げます。そのほとんどはひとつの設定で、しばしばひとつのシードで示されました。ここでは同じ崩壊の上で、記録した 8 つのシードで 4 つを試し、読んだことではなく測ったことを報告します。

4 つの工夫、それぞれ 8 つのノイズの数で崩壊する GAN にかけます:

  • ラベルのならし:D は本物の標本が 1 ではなく 0.8 本物だと教わるので、決して確信しすぎない。
  • インスタンスのノイズ:D が見るどの点にも少しのノイズを足し、訓練のあいだに 0 まで縮めるので、初めのうちは本物と偽物が重なる。
  • スペクトル正規化:D のどの重みの行列もその最大の伸びで割るので、D は小さな変化に鋭く反応しすぎられない。
  • 学習率のつり合い:G を D より遅く(g_lr 2.5e-4)か、速く(g_lr 3e-3)。

モジュール 9 の精神を使ってください:差が数えられるのは、シードの間のノイズよりはっきり大きいときだけです。それぞれの工夫を素の実行とシードごとに比べてください(同じシード、対にして):

  • helped(助けになった):平均の塊が少なくとも 1 高く、かつ 8 つのシードのうち少なくとも 6 つでより多くの塊。
  • hurt(害になった):平均の塊が少なくとも 1 低く、少なくとも 6 つのシードでより少ない、または平均の質が少なくとも 0.25 低く、少なくとも 6 つのシードでより低い(塊を保つが点をばらまく生成器は、助けられていない)。
  • それ以外は no clear change(はっきりした変化なし)。
このレッスンの言葉と記号
GAN
敵対的生成ネットワーク:互いに対して訓練する生成器と識別器
生成器(G)
ノイズを標本に変えるネットワーク
おおった塊、質
輪の審査員:点の 2% より多くを持つ塊と、塊の上にある点の割合
ラベルのならし
1 の代わりに 0.8 の本物のラベルで D を訓練すること
インスタンスのノイズ
D が見るすべてに足すノイズで、訓練のあいだに 0 まで縮む
スペクトル正規化
D のそれぞれの重みの行列をその最大の伸びで割ること
あなたの番

記録した実行から "helped"、"hurt"、"no clear change" を返す verdict(trick) を書いてください。それから 5 つの工夫の実行のそれぞれについて、あなたの判定で report を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。