シラバス レッスン 246 中 170 · モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)
モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)

コードが中心からどれだけ遠いか:2 つの釣鐘曲線の間の KL

なぜ大切か 引っ張り 2 には最小にする数が要ります:それぞれのコードの雲 N(mu, spread) が目標 N(0, 1) からどれだけ遠いか。その数はモジュール 2 で出会った KL ダイバージェンスで、今度は釣鐘曲線についてのものです。

モジュール 2 は 2 つの釣鐘曲線についての正確な式を出しました:N(m1, s1) と N(m2, s2) の間の KL は

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2。

目標 N(0, 1)(m2 = 0、s2 = 1)と、logvar = log(s1²) として書いた広がりでは、コードの数ごとに 0.5 (mu² + exp(logvar) - 1 - logvar) になります。それをコードの数の上で足し合わせます。

小さな数

mu = 0、logvar = 0(広がり 1):0.5 (0 + 1 - 1 - 0) = 0、コードはもう目標と一致しています。mu = 2、logvar = 0:0.5 (4 + 1 - 1 - 0) = 2。mu = 0、logvar = -2:0.5 (0 + 0.135 - 1 + 2) = 0.568、なので自信過剰なコードも代価を払います。

式なしで確かめる

KL は平均です:p から引いた x についての log p(x) - log q(x) の平均。多くの x を引いて平均すると、少しノイズはありますが同じ数が得られます。2 つのやり方が一致することが、コードが正しいとわかる方法です。

このレッスンの言葉と記号
コード(潜在)
エンコーダーがひとつの絵から作るいくつかの数
mu、logvar
VAE のコードの数の中心と、広がりの 2 乗の対数
あなたの番

式から kl_normal(m1, s1, m2, s2) を、kl_to_standard(mu, logvar)(形 (N, z) の NumPy の配列で、コードの数の上の和を N の行の上で平均したものを返す)を、そして p からの n の引きの上で log p(x) - log q(x) を平均する kl_by_sampling(m1, s1, m2, s2, n) を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。