잡음 예측하는 법 배우기
왜 중요한가 확산 모델의 훈련 조리법 전체가 다섯 줄에 들어가고, 평범한 회귀예요: 신경망에 잡음 섞인 점과 걸음을 보여 주고, 잡음을 물어보세요. 게임도, 두 번째 신경망도 없어요.
훈련 걸음 하나:
- 진짜 점 x0의 배치를 가져오고, 각각에 대해 무작위 걸음 t와 새 잡음 eps를.
- 지름길로 x_t로 뛰세요.
- 신경망에 잡음을 물어보세요:
model.predict(x_t, t). - 손실 = (예측한 잡음 - eps) 제곱의 평균.
- 역방향, 걸음.
곡선 맞히기
실행하기 전에 세 순간의 손실을 추측하세요: 처음 10걸음 동안, 걸음 300 즈음, 걸음 3000 즈음. 기준점 둘: 늘 0을 예측하는 신경망은 정확히 1을 받고(잡음의 퍼짐이 1이니까요), 완벽한 신경망도 0에 닿을 수 없어요, 아주 잡음 많은 걸음에서는 잡음을 추측하기 쉽지만 거의 깨끗한 걸음에서는 거의 불가능하니까요.
이 분야의 지금 잡음을 예측하는 건 크기를 빼면 점수(score)를 추정하는 것과 같아요: 잡음 섞인 데이터가 더 그럴듯해지는 방향(Song and Ermon 2019, Ho et al. 2020). 그래서 화살표가 집을 가리켜요. 진짜 이미지 생성기는 픽셀에 잡음을 더하지 않아요: 먼저 모듈 15처럼 오토인코더로 각 그림을 짜 넣고, 작은 코드에서 확산을 돌려요(잠재 확산, Rombach et al. 2022). 이 모듈의 모든 것이 그대로 통하고, 공간만 바뀌어요.
이 레슨의 단어와 기호
- 확산 모델
- 잡음을 조금씩 없애도록 훈련한 신경망. 순수한 잡음에서 거꾸로 돌리면 생성해요
- x0, x_t
- 깨끗한 데이터, 그리고 t걸음의 잡음 뒤의 같은 데이터
- eps
- 더해진 종 모양 잡음. 신경망이 그걸 예측하는 걸 배워요
- 모양 위, 덮음
- 2D 심판: 진짜 모양 근처에 있는 샘플의 비율, 그리고 근처에 샘플이 있는 모양의 비율
my_guess를 채우고, 그다음 반복문의 몸통을 쓰세요(나선 점 256개씩 3000걸음. difflab.shape('spiral', 256, rng), difflab.add_noise). 각 걸음의 손실을 losses에 덧붙이세요. 최종 손실 0.40 아래, 샘플이 모양 위 적어도 0.75로 통과하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.