ノイズの予定表:より低い損失、より悪い標本
なぜ大切か 損失は見守る数なので、それを最も低くするものを選びたくなります。ここではその本能はまさに間違いで、その理由を見ることが損失が何を測るかを教えます。
同じ 100 の歩みのための 2 つの予定表:
- linear(元の DDPM の論文):beta は 0.0001 から 0.02 x (1000 / T) まで均等に上がる。100 の歩みだけでは abar は速く落ちる:ほとんどの歩みはほぼ純粋なノイズ。
- cosine(Nichol と Dhariwal、2021):abar は cos の曲線に従うので、信号は歩みにわたって均等に薄れる。
コースは両方を渦巻きの上で、それぞれ 3 つのシードで訓練しました(difflab.recorded())。
まず予測してください:どちらの予定表がより低い訓練の損失で終わり、どちらが渦巻きの上により良く乗る標本を作るか?
このレッスンの言葉と記号
- ノイズの予定表(beta)
- それぞれの一歩でどれだけの新しいノイズを混ぜるか
- abar
- いくつかの歩みのあとに残る元の信号の割合(その平方根が x0 に掛かる)
- eps
- 足された釣鐘曲線のノイズ。ネットワークはそれを予測することを学ぶ
- DDPM
- どの歩みも、毎回新しいノイズとともにさかのぼってサンプリングすること
- 形の上、おおい
- 2 次元の審査員:本物の形の近くの標本の割合と、近くに標本がある形の割合
両方の問いについて guess を "linear" か "cosine" に設定してください。それから table を、記録した 3 つのシードの上でのそれぞれの予定表の平均の最後の損失と平均の形の上の点数で埋め、noisy_share を埋めます:それぞれの予定表について、信号の分散の 10% 未満しか残っていない(abar が 0.1 未満。そこでの信号の大きさは sqrt(abar)、約 0.32)100 の歩みの割合。最後に shows を、表から答えた同じ 2 つの問いに設定してください。予想は作ったままにとどまります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。