한 걸음씩 잡음 더하기
왜 중요한가 오늘날 AI 그림 뒤의 이미지 생성기는 잡음에서 거꾸로 작동해요. 잡음을 없애는 걸 배우려면, 신경망은 먼저 잡음이 정확히 어떻게 더해졌는지 봐야 해요. 그 순방향 절반은 순수한 산술이고, 훈련을 가능하게 하는 지름길이 있어요.
깨끗한 점 x0(픽셀 값, 또는 2D의 점)을 가져오세요. T = 100걸음 각각에서 조금 줄이고 새 잡음을 조금 더하세요:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, eps는 N(0, 1)에서 뽑아요
리스트 beta_0 ... beta_99가 잡음 스케줄이에요. 장면을 보세요: 점들의 나선이 둥근 잡음 구름으로 녹아 버려요.
지름길
줄이고 종 모양 잡음을 더하기를 거듭하는 건 합계로 한 번 하는 것과 같아요. 걸음 t까지의 모든 (1 - beta) 배율의 곱을 abar_t라고 쓰세요. 그러면
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
한 번에: 남은 신호는 sqrt(abar_t), 잡음 퍼짐은 sqrt(1 - abar_t). 훈련은 거기까지 걸어가는 대신 어떤 걸음으로든 즉시 뛸 수 있어요.
작은 숫자
각각 beta = 0.1인 두 걸음: abar = 0.9 × 0.9 = 0.81. x0 = 1에서 남은 신호는 sqrt(0.81) = 0.9이고 잡음 퍼짐은 sqrt(0.19) = 0.44예요. 걸어가면: 걸음 1 뒤에 0.949 × 1 더하기 퍼짐 0.316의 잡음. 걸음 2 뒤에 모든 게 다시 0.949만큼 줄고 퍼짐 0.316의 새 잡음이 합류해요. 퍼짐은 제곱으로 더해져요: 0.949^2 × 0.1 + 0.1 = 0.19. 같은 답이에요.
이 레슨의 단어와 기호
- 잡음 스케줄 (beta)
- 각 걸음에서 새 잡음을 얼마나 섞는지
- abar
- 여러 걸음 뒤에 남은 원래 신호의 비율(그 제곱근이 x0에 곱해져요)
- x0, x_t
- 깨끗한 데이터, 그리고 t걸음의 잡음 뒤의 같은 데이터
- eps
- 더해진 종 모양 잡음. 신경망이 그걸 예측하는 걸 배워요
walk(x0, t, beta, rng)(한 번에 한 걸음씩, 걸음 0부터 걸음 t까지 t + 1걸음)와 jump(x0, t, abar, eps)(지름길)를 쓰세요. 그다음 점 (1.0, -0.5)의 사본 20000개를 두 방식으로 걸음 40까지 잡음을 넣고, 각 버전의 평균과 퍼짐(좌표별)을 스케줄이 말하는 값 옆에 두어 stats를 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.