VAE の損失、一歩ずつ(ELBO)
なぜ大切か 「よく作り直す、足す、中心の近くにとどまる」は、2 つの目標を貼り合わせたように聞こえます。それはひとつの目標です:モデルのもとで本物の数字をできるだけ起こりやすくすること。その理由を見ると、損失の数が何を意味するかがわかります。
VAE は数字がどう作られるかの物語です:N(0, 1) からコード z を引き、それからデコーダーが与える確率でそれぞれの画素を引く。最良のモデルは本物の数字に最も高い確率 log p(x) を与えます。log p(x) を正確に計算するには、あらゆる z の上の平均が要り、手が届きません。
仕掛けは計算できる下界、ELBO(エビデンスの下界)です:
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
ここで q(z | x) = N(mu, spread) は、どのコードが x を作りえたかについてのエンコーダーの推測で、E[...] はそこから引いたコードの上で平均します。第 1 項は作り直しの点数です。第 2 項は引っ張り 2 です。log p(x) と ELBO の間の差は、ちょうどエンコーダーの推測がどれだけ間違っているか(本当の事後分布への KL)なので、ELBO を押し上げると log p(x) が上がるか、差が閉じる(推測が良くなる)か、その両方です:ELBO だけでは、どれかはわかりません。
訓練は -ELBO を最小にし、それは作り直しの損失 + KL です:gen.train_vae のまさにその損失です。
小さな例で隙間を埋める
4 画素の絵 x = [1, 0, 1, 1]。エンコーダーは mu = [0.5, -1.0] と logvar = [0.0, -1.0] を返します。コードの 1 回の引きが、デコーダーの確率 p = [0.9, 0.2, 0.7, 0.6](それぞれの画素のインクの確率)を返します。
このレッスンの言葉と記号
- コード(潜在)
- エンコーダーがひとつの絵から作るいくつかの数
- VAE
- 変分オートエンコーダー:コードが N(0, 1) を満たすよう引っ張られるオートエンコーダーで、ランダムなコードが新しい絵に復号される
- mu、logvar
- VAE のコードの数の中心と、広がりの 2 乗の対数
- ELBO
- エビデンスの下界:作り直しの点数引く KL。VAE の訓練はそれを押し上げる
それぞれの手順を埋めてください:log_p_x_given_z(画素の上の x log p + (1 - x) log(1 - p) の和)、kl(N(0, 1) へのもので、両方のコードの数の上で合計)、elbo、そして loss(訓練が最小にするもの)。それから gap_means を、log p(x) と ELBO の間の差が何を測るかを言う文字に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。