잡음 스케줄: 더 낮은 손실, 더 나쁜 샘플
왜 중요한가 손실은 지켜보는 숫자라서, 그걸 가장 낮게 만드는 것을 고르고 싶어져요. 여기서는 그 본능이 정확히 틀렸고, 왜인지 보면 손실이 무엇을 재는지 배워요.
같은 100걸음에 대한 스케줄 둘:
- 선형(원래 DDPM 논문): beta가 0.0001에서 0.02 × (1000 / T)까지 고르게 올라가요. 걸음이 100개뿐이면 abar가 빨리 떨어져요: 대부분의 걸음이 거의 순수한 잡음이에요.
- 코사인(Nichol and Dhariwal, 2021): abar가 코사인 곡선을 따라서, 신호가 걸음에 걸쳐 고르게 흐려져요.
강좌는 둘 다 나선에서 각각 시드 셋으로 훈련했어요(difflab.recorded()).
먼저 예측하세요: 어느 스케줄이 더 낮은 훈련 손실로 끝나고, 어느 것이 나선 위에 더 잘 앉는 샘플을 만들까요?
이 레슨의 단어와 기호
- 잡음 스케줄 (beta)
- 각 걸음에서 새 잡음을 얼마나 섞는지
- abar
- 여러 걸음 뒤에 남은 원래 신호의 비율(그 제곱근이 x0에 곱해져요)
- eps
- 더해진 종 모양 잡음. 신경망이 그걸 예측하는 걸 배워요
- DDPM
- 매 걸음 새 잡음과 함께 모든 걸음을 되짚어 가며 샘플링하기
- 모양 위, 덮음
- 2D 심판: 진짜 모양 근처에 있는 샘플의 비율, 그리고 근처에 샘플이 있는 모양의 비율
두 질문 모두에 대해 guess를 "linear"나 "cosine"으로 설정하세요. 그다음 기록된 시드 셋에 걸친 각 스케줄의 평균 최종 손실과 평균 모양 위 점수로 table을 채우고, noisy_share를 채우세요: 각 스케줄에 대해, 신호 분산의 10%보다 적게 남은(abar가 0.1 아래. 신호의 크기는 sqrt(abar)로, 거기서 약 0.32) 걸음 100개의 비율. 마지막으로 shows를 설정하세요, 같은 두 질문을 자기 표로 답한 것. 추측은 한 그대로 남아요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.