Расписания шума: потери ниже, сэмплы хуже
Почему это важно Потери - число, за которым вы следите, поэтому соблазнительно выбрать то, что делает их самыми низкими. Здесь этот инстинкт ровно ошибочен, и понимание почему учит тому, что измеряют потери.
Два расписания для тех же 100 шагов:
- Линейное (исходная статья DDPM): beta растёт равномерно от 0.0001 до 0.02 × (1000 / T). При всего 100 шагах abar падает быстро: большинство шагов - почти чистый шум.
- Косинусное (Nichol и Dhariwal, 2021): abar следует косинусной кривой, поэтому сигнал угасает равномерно по шагам.
Курс обучил оба на спирали, по 3 seed каждое (difflab.recorded()).
Сначала предскажите: какое расписание заканчивает с меньшими потерями на обучении и какое даёт сэмплы, лучше лежащие на спирали?
Слова и символы этого урока
- расписание шума (beta)
- сколько свежего шума подмешивается на каждом шаге
- abar
- доля исходного сигнала, оставшаяся после нескольких шагов (её квадратный корень умножает x0)
- eps
- добавленный колоколообразный шум; сеть учится его предсказывать
- DDPM
- сэмплирование шагами назад через каждый шаг, со свежим шумом каждый раз
- on shape, coverage
- судья для 2D: доля сэмплов рядом с настоящей фигурой и доля фигуры, рядом с которой есть сэмпл
Присвойте guess для обоих вопросов значение "linear" или "cosine". Затем заполните table средними итоговыми потерями и средним on shape каждого расписания по 3 записанным seed, и noisy_share: для каждого расписания долю из 100 шагов, где остаётся меньше 10% дисперсии сигнала (abar ниже 0.1; размер сигнала там - sqrt(abar), около 0.32). Наконец, задайте shows: те же два вопроса, отвеченные по вашей таблице. Ваша догадка остаётся такой, какой вы её сделали.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.