シラバス レッスン 246 中 175 · モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)
モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)

関門:ひとつの数字を描く VAE(AI オフ)

なぜ大切か この失敗には名前があります、事後崩壊。それはよくあるので、あとで作るどの生成モデルも、その何かの版に当たりえます。ここではひとりでそれを診断して直します。

関門の規則:AI チューターはオフです。始めのコードを走らせ、壊れた VAE が何を作るかを見てください。gen.train_vae(...) で好きなだけ変種を訓練し、gen.judge、active_units()、作り直しの誤差でそれを判断して構いません。

3 つの設定があり、それぞれ試す理由があります:

  • weight:引っ張り 2(KL)の強さ、既定は 1。
  • warmup_steps:重み 0 で始め、これだけのステップでそれを weight まで均等に上げる(訓練は 600 ステップ)。
  • free_bits:コードの数ごとの床。KL が床より下の数は床を払い、中心への押しを受けないので、モデルはそれを使う余裕がある。

重みをだんだん上げるのが定番の直し方だとネットで読むでしょう。ここでそうなのかを確かめてください。

確認は新しいシードであなたの直し方を訓練し直し、4 つすべてが成り立つときだけ合格させます:テストの作り直しの誤差が 0.035 未満、少なくとも 3 つの働いているコードの数、近さが多くとも 1.33 で多様さが少なくとも 3.0 の新しい数字。

このレッスンの言葉と記号
コード(潜在)
エンコーダーがひとつの絵から作るいくつかの数
VAE
変分オートエンコーダー:コードが N(0, 1) を満たすよう引っ張られるオートエンコーダーで、ランダムなコードが新しい絵に復号される
mu、logvar
VAE のコードの数の中心と、広がりの 2 乗の対数
近さ、多様さ
コースの審査員:最も近い本物の数字への距離と、10 の数字の上の広がりのビット
事後崩壊
コードがすべて N(0, 1) になって何も運ばない VAE。ひとつの平均の絵を描く
あなたの番

diagnosis をひとつの文字に、fix を崩壊を治す gen.train_vae の設定の辞書に設定してください。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。