ノイズを予測することを学ぶ
なぜ大切か 拡散モデルの訓練の手順全体は 5 行に収まり、それは素の回帰です:ネットワークにノイズの点と歩みを見せ、ノイズを尋ねる。ゲームも、2 つ目のネットワークもありません。
訓練の一歩:
- 本物の点 x0 のバッチを取り、それぞれについてランダムな歩み t と新しいノイズ eps を取る。
- 近道で x_t に跳ぶ。
- ネットワークにノイズを尋ねる:
model.predict(x_t, t)。 - 損失 = (予測したノイズ - eps) の 2 乗の平均。
- 逆向き、ステップ。
曲線を当てる
走らせる前に、3 つの時点での損失を予想してください:最初の 10 ステップの上、ステップ 300 のあたり、ステップ 3000 のあたり。2 つの目安:いつも 0 を予測するネットワークはちょうど 1 になり(ノイズは広がり 1 を持つ)、完璧なネットワークも 0 には届きません。とてもノイズの多い歩みではノイズは推測しやすいけれど、ほぼきれいな歩みではほとんど不可能だからです。
この分野の今 ノイズを予測することは、尺度を別にすれば、スコア を推定することと同じです:ノイズのデータがより起こりやすくなる向き(Song と Ermon 2019、Ho ら 2020)。だから矢印は家を指すのです。本物の画像の生成器は画素にノイズを足しません:まずモジュール 15 のようにオートエンコーダーでそれぞれの絵を押し込み、小さなコードの上で拡散を走らせます(潜在拡散、Rombach ら 2022)。このモジュールのすべてが引き継がれます。変わるのは空間だけです。
このレッスンの言葉と記号
- 拡散モデル
- 少しずつノイズを取り除くよう訓練したネットワーク。純粋なノイズから逆に走らせると生成する
- x0、x_t
- きれいなデータと、t 歩のノイズのあとの同じデータ
- eps
- 足された釣鐘曲線のノイズ。ネットワークはそれを予測することを学ぶ
- 形の上、おおい
- 2 次元の審査員:本物の形の近くの標本の割合と、近くに標本がある形の割合
my_guess を埋め、それからループの本体を書いてください(256 の渦巻きの点の 3000 ステップ。difflab.shape('spiral', 256, rng)、difflab.add_noise)。それぞれのステップの損失を losses に加えます。最後の損失が 0.40 未満で、標本が少なくとも 0.75 形の上なら合格です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。