シラバス レッスン 246 中 172 · モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)
モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)

通して訓練できるサンプリング

なぜ大切か コードは N(mu, spread) からのランダムな引きです。逆伝播には損失から mu と logvar へ戻る傾きが要り、「ランダムな数」には傾きがありません。ひとつの書き直しがそれを直し、それは VAE をはるかに超えて使われます。

まず、決まった釣鐘曲線からランダムさを引きます:N(0, 1) からの eps。それからそこからコードを作ります:

code = mu + exp(logvar / 2) * eps

コードは N(mu, spread) からの引きとまったく同じ値の広がりを持ちますが、今では eps をふつうの入力とする mu と logvar の上のふつうの計算です。傾きは単純です:d code / d mu = 1、d code / d logvar = 0.5 exp(logvar / 2) eps。これが 再パラメーター化の仕掛け です。

小さな数

mu = 1、logvar = 0、eps = 0.5:code = 1 + 1 x 0.5 = 1.5。mu への傾き:1。logvar への傾き:0.5 x 1 x 0.5 = 0.25。

それにはひとつの新しい操作 exp が要ります。コースのエンジンはすでにひとつ持っています(E.exp)。ここではモジュール 4 のやり方で自分のものを作ります:前向きの値と、届く勾配に局所の傾きを掛ける逆向きの規則(exp では、傾きは exp そのもの)。

コースのエンジンでは、操作は規則 out.back = lambda g: parent._acc(g * local_slope) を持つテンソル out = E.T(value, (parent,)) です:back は out に届く勾配を受け取り、_acc は勾配を親に足します。E.GUIDE がエンジンの部品を表示します。

このレッスンの言葉と記号
コード(潜在)
エンコーダーがひとつの絵から作るいくつかの数
VAE
変分オートエンコーダー:コードが N(0, 1) を満たすよう引っ張られるオートエンコーダーで、ランダムなコードが新しい絵に復号される
mu、logvar
VAE のコードの数の中心と、広がりの 2 乗の対数
再パラメーター化
code = mu + exp(logvar / 2) x eps、eps を先に引くので、勾配が mu と logvar に届く
あなたの番

exp_op(a) をエンジンの操作として書いてください(親と back の規則を持つ E.T を返す)。exp_op、E.scale、E.mul、E.add で reparam(mu, logvar, eps) を書きます。それから両方の勾配を少しの動きと照らし合わせ、max_gap を見つけた最大の差に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。