ゲームをする 2 つのネットワーク
なぜ大切か VAE は絵を作り直すことを学び、その代価をぼやけで払います。GAN(敵対的生成ネットワーク)は何も作り直しません。ひとつのネットワークが絵を作り、2 つ目がそれを判定し、それぞれが相手に対して訓練します。それが人をだました最初の生成された顔の裏の考えです。
2 人の選手:
- 生成器 G はランダムなノイズ z を標本 G(z) に変える。
- 識別器 D は標本を見て点数(ロジット)を返す。sigmoid(score) は、その標本が本物だという信念。
D はどんな分類器とも同じく訓練します:本物の標本にはラベル 1、生成したものにはラベル 0、2 値の交差エントロピー。G は D をだますよう訓練します。G の損失の書き方は 2 つあり、その違いが訓練がそもそも始まるかを決めます:
- 飽和する(元の論文のゲーム):G は log(1 - D(G(z))) を最小にする。
- 飽和しない:G は -log D(G(z)) を最小にする。同じ目標、「D に本物と言わせる」。
小さな数:傾き
偽物についての D の点数を f と書くので、D(G(z)) = sigmoid(f)。f についてのそれぞれの損失の傾きは:
飽和する:-sigmoid(f) 飽和しない:sigmoid(f) - 1
訓練の初めには D はたやすく偽物を見抜きます:D(G(z)) = 0.001。すると飽和する傾きは -0.001 で、学ぶものはほとんどありません。飽和しない傾きは -0.999、全力の押しです。それが理論です。コースはそれがいつ効くかを測りました:健全な輪ではどちらの損失も訓練できます(記録した 8 つのシードすべて)。D が勝つ設定では、飽和する損失は何も学びません。
ここでのすべての損失は、どの対数も決して 0 を見ないよう log-sum-exp の工夫を使います:log(sigmoid(f)) = -softplus(-f)、log(1 - sigmoid(f)) = -softplus(f)、softplus(a) = log(1 + e^a) は np.logaddexp(0, a) として計算します。
このレッスンの言葉と記号
- GAN
- 敵対的生成ネットワーク:互いに対して訓練する生成器と識別器
- 生成器(G)
- ノイズを標本に変えるネットワーク
- 識別器(D)
- 標本を本物か生成したものかで点数づけするネットワーク
- 飽和する損失
- G は log(1 - D(G(z))) を最小にする。D が確信するとその傾きはほぼ 0 なので、G は学ぶのをやめる
3 つの損失を、点数のバッチの上の平均として書いてください:d_loss(real_scores, fake_scores)、g_loss_saturating(fake_scores)、g_loss_nonsat(fake_scores)。それから slopes を埋めます:0.001、0.1、0.5 のそれぞれの D(G(z)) について、偽物の点数についてのそれぞれの生成器の損失の傾き(ひとつの標本について)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。