강의 계획 레슨 246개 중 186번째 · 모듈 17: 잡음을 넣으면 그림이 나와요(확산)
모듈 17: 잡음을 넣으면 그림이 나와요(확산)

잡음 스케줄: 더 낮은 손실, 더 나쁜 샘플

왜 중요한가 손실은 지켜보는 숫자라서, 그걸 가장 낮게 만드는 것을 고르고 싶어져요. 여기서는 그 본능이 정확히 틀렸고, 왜인지 보면 손실이 무엇을 재는지 배워요.

같은 100걸음에 대한 스케줄 둘:

  • 선형(원래 DDPM 논문): beta가 0.0001에서 0.02 × (1000 / T)까지 고르게 올라가요. 걸음이 100개뿐이면 abar가 빨리 떨어져요: 대부분의 걸음이 거의 순수한 잡음이에요.
  • 코사인(Nichol and Dhariwal, 2021): abar가 코사인 곡선을 따라서, 신호가 걸음에 걸쳐 고르게 흐려져요.

강좌는 둘 다 나선에서 각각 시드 셋으로 훈련했어요(difflab.recorded()).

먼저 예측하세요: 어느 스케줄이 더 낮은 훈련 손실로 끝나고, 어느 것이 나선 위에 더 잘 앉는 샘플을 만들까요?

이 레슨의 단어와 기호
잡음 스케줄 (beta)
각 걸음에서 새 잡음을 얼마나 섞는지
abar
여러 걸음 뒤에 남은 원래 신호의 비율(그 제곱근이 x0에 곱해져요)
eps
더해진 종 모양 잡음. 신경망이 그걸 예측하는 걸 배워요
DDPM
매 걸음 새 잡음과 함께 모든 걸음을 되짚어 가며 샘플링하기
모양 위, 덮음
2D 심판: 진짜 모양 근처에 있는 샘플의 비율, 그리고 근처에 샘플이 있는 모양의 비율
내 차례

두 질문 모두에 대해 guess를 "linear"나 "cosine"으로 설정하세요. 그다음 기록된 시드 셋에 걸친 각 스케줄의 평균 최종 손실과 평균 모양 위 점수로 table을 채우고, noisy_share를 채우세요: 각 스케줄에 대해, 신호 분산의 10%보다 적게 남은(abar가 0.1 아래. 신호의 크기는 sqrt(abar)로, 거기서 약 0.32) 걸음 100개의 비율. 마지막으로 shows를 설정하세요, 같은 두 질문을 자기 표로 답한 것. 추측은 한 그대로 남아요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.