シラバス レッスン 246 中 167 · モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)
モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)

押し込んで作り直す(オートエンコーダー)

なぜ大切か これまでのどのネットワークも、絵をラベルに変えました。このモジュールは絵を新しい絵に変えます。最初の一歩は、絵をいくつかの数に押し込み、そこから作り直すネットワークです。そのいくつかの数が、新しい絵の出どころになります。

オートエンコーダー は背中合わせの 2 つのネットワークです。エンコーダー は 64 画素の数字を 16 の数、その コード に押し込みます。デコーダー はその 16 の数から 64 画素を作り直します。訓練が求めるのはひとつのことです:作り直した絵が元のものと一致すること。

16 の数が何を意味すべきかは誰も教えません。16 の数は 64 画素をただ写せないので、自分で数字の短い説明を見つけなければなりません。

小さな数

64 画素の数字が 16 の数になる:4 対 1 の押し込みです。作り直した画素が平均で 0.09 外れていれば、画素あたりの 2 乗の誤差は約 0.008 です。それがあなたが届く誤差の大きさです。

損失の測り方

それぞれの画素は 0(空白)から 1(完全なインク)の数なので、デコーダーの最後の層は画素ごとにひとつの点数を返し、シグモイドがそれを 0..1 に変えます。損失はモジュール 3 の 2 値の交差エントロピーで、64 画素の上で合計し、バッチの上で平均します。コースのエンジンは今それを E.bce_with_logits(scores, pictures) として持っています:シグモイドの前の点数を取るので、決して 0 の対数を取りません。

出力は絵を文字としても表示します:gen.show(pictures) はそれぞれの 8x8 の数字を、空白から完全なインクまでの濃淡で表示します。

このレッスンの言葉と記号
オートエンコーダー
絵をいくつかの数に押し込むエンコーダーと、それを作り直すデコーダー
コード(潜在)
エンコーダーがひとつの絵から作るいくつかの数
mu、logvar
VAE のコードの数の中心と、広がりの 2 乗の対数
あなたの番

encode(x) を書いてください:ReLU 付きの全結合の層(P['e1'])、それから 16 の数への全結合の層(P['e2'])。decode(code) を同じやり方で P['d1']、ReLU、P['d2'] で書き、シグモイドの前の 64 の点数を返します。訓練のループは書いてあります。画素あたり 0.012 未満のテストの作り直しの誤差に届いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。