강의 계획 레슨 246개 중 184번째 · 모듈 17: 잡음을 넣으면 그림이 나와요(확산)
모듈 17: 잡음을 넣으면 그림이 나와요(확산)

잡음 예측하는 법 배우기

왜 중요한가 확산 모델의 훈련 조리법 전체가 다섯 줄에 들어가고, 평범한 회귀예요: 신경망에 잡음 섞인 점과 걸음을 보여 주고, 잡음을 물어보세요. 게임도, 두 번째 신경망도 없어요.

훈련 걸음 하나:

  1. 진짜 점 x0의 배치를 가져오고, 각각에 대해 무작위 걸음 t와 새 잡음 eps를.
  2. 지름길로 x_t로 뛰세요.
  3. 신경망에 잡음을 물어보세요: model.predict(x_t, t).
  4. 손실 = (예측한 잡음 - eps) 제곱의 평균.
  5. 역방향, 걸음.

곡선 맞히기

실행하기 전에 세 순간의 손실을 추측하세요: 처음 10걸음 동안, 걸음 300 즈음, 걸음 3000 즈음. 기준점 둘: 늘 0을 예측하는 신경망은 정확히 1을 받고(잡음의 퍼짐이 1이니까요), 완벽한 신경망도 0에 닿을 수 없어요, 아주 잡음 많은 걸음에서는 잡음을 추측하기 쉽지만 거의 깨끗한 걸음에서는 거의 불가능하니까요.

이 분야의 지금 잡음을 예측하는 건 크기를 빼면 점수(score)를 추정하는 것과 같아요: 잡음 섞인 데이터가 더 그럴듯해지는 방향(Song and Ermon 2019, Ho et al. 2020). 그래서 화살표가 집을 가리켜요. 진짜 이미지 생성기는 픽셀에 잡음을 더하지 않아요: 먼저 모듈 15처럼 오토인코더로 각 그림을 짜 넣고, 작은 코드에서 확산을 돌려요(잠재 확산, Rombach et al. 2022). 이 모듈의 모든 것이 그대로 통하고, 공간만 바뀌어요.

이 레슨의 단어와 기호
확산 모델
잡음을 조금씩 없애도록 훈련한 신경망. 순수한 잡음에서 거꾸로 돌리면 생성해요
x0, x_t
깨끗한 데이터, 그리고 t걸음의 잡음 뒤의 같은 데이터
eps
더해진 종 모양 잡음. 신경망이 그걸 예측하는 걸 배워요
모양 위, 덮음
2D 심판: 진짜 모양 근처에 있는 샘플의 비율, 그리고 근처에 샘플이 있는 모양의 비율
내 차례

my_guess를 채우고, 그다음 반복문의 몸통을 쓰세요(나선 점 256개씩 3000걸음. difflab.shape('spiral', 256, rng), difflab.add_noise). 각 걸음의 손실을 losses에 덧붙이세요. 최종 손실 0.40 아래, 샘플이 모양 위 적어도 0.75로 통과하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.