シラバス レッスン 246 中 184 · モジュール 17:ノイズを入れて、絵を出す(拡散)
モジュール 17:ノイズを入れて、絵を出す(拡散)

ノイズを予測することを学ぶ

なぜ大切か 拡散モデルの訓練の手順全体は 5 行に収まり、それは素の回帰です:ネットワークにノイズの点と歩みを見せ、ノイズを尋ねる。ゲームも、2 つ目のネットワークもありません。

訓練の一歩:

  1. 本物の点 x0 のバッチを取り、それぞれについてランダムな歩み t と新しいノイズ eps を取る。
  2. 近道で x_t に跳ぶ。
  3. ネットワークにノイズを尋ねる:model.predict(x_t, t)。
  4. 損失 = (予測したノイズ - eps) の 2 乗の平均。
  5. 逆向き、ステップ。

曲線を当てる

走らせる前に、3 つの時点での損失を予想してください:最初の 10 ステップの上、ステップ 300 のあたり、ステップ 3000 のあたり。2 つの目安:いつも 0 を予測するネットワークはちょうど 1 になり(ノイズは広がり 1 を持つ)、完璧なネットワークも 0 には届きません。とてもノイズの多い歩みではノイズは推測しやすいけれど、ほぼきれいな歩みではほとんど不可能だからです。

この分野の今 ノイズを予測することは、尺度を別にすれば、スコア を推定することと同じです:ノイズのデータがより起こりやすくなる向き(Song と Ermon 2019、Ho ら 2020)。だから矢印は家を指すのです。本物の画像の生成器は画素にノイズを足しません:まずモジュール 15 のようにオートエンコーダーでそれぞれの絵を押し込み、小さなコードの上で拡散を走らせます(潜在拡散、Rombach ら 2022)。このモジュールのすべてが引き継がれます。変わるのは空間だけです。

このレッスンの言葉と記号
拡散モデル
少しずつノイズを取り除くよう訓練したネットワーク。純粋なノイズから逆に走らせると生成する
x0、x_t
きれいなデータと、t 歩のノイズのあとの同じデータ
eps
足された釣鐘曲線のノイズ。ネットワークはそれを予測することを学ぶ
形の上、おおい
2 次元の審査員:本物の形の近くの標本の割合と、近くに標本がある形の割合
あなたの番

my_guess を埋め、それからループの本体を書いてください(256 の渦巻きの点の 3000 ステップ。difflab.shape('spiral', 256, rng)、difflab.add_noise)。それぞれのステップの損失を losses に加えます。最後の損失が 0.40 未満で、標本が少なくとも 0.75 形の上なら合格です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。