강의 계획 레슨 246개 중 176번째 · 모듈 16: 게임 속의 두 신경망(GAN, 선택)
모듈 16: 게임 속의 두 신경망(GAN, 선택)

게임 속의 두 신경망

왜 중요한가 VAE는 그림을 다시 만드는 걸 배우고 그 대가를 흐림으로 치러요. GAN(생성적 적대 신경망)은 아무것도 다시 만들지 않아요. 한 신경망은 그림을 만들고, 두 번째 신경망은 그걸 판단하고, 각자 상대에 맞서 훈련해요. 사람들을 속인 최초의 생성된 얼굴 뒤에 있는 생각이에요.

두 선수:

  • 생성기 G는 무작위 잡음 z를 샘플 G(z)로 바꿔요.
  • 판별기 D는 샘플을 보고 점수(로짓)를 줘요. sigmoid(score)가 그 샘플이 진짜라는 D의 믿음이에요.

D는 여느 분류기처럼 훈련해요: 진짜 샘플은 레이블 1, 생성된 것은 레이블 0, 이진 교차 엔트로피. G는 D를 속이도록 훈련해요. G의 손실을 쓰는 방법은 둘이고, 그 차이가 훈련이 아예 시작되는지를 정해요:

  • 포화(원래 논문의 게임): G가 log(1 - D(G(z)))를 최소화해요.
  • 비포화: G가 -log D(G(z))를 최소화해요. 같은 목표, "D가 진짜라고 말하게 하기".

작은 숫자: 기울기

가짜에 대한 D의 점수를 f라고 쓰면, D(G(z)) = sigmoid(f)예요. f에 대한 각 손실의 기울기는:

포화: -sigmoid(f)    비포화: sigmoid(f) - 1

훈련 초기에 D는 가짜를 쉽게 알아봐요: D(G(z)) = 0.001. 그러면 포화 기울기는 -0.001로, 배울 게 거의 없어요. 비포화 기울기는 -0.999로, 온전한 밀기예요. 그게 이론이에요. 강좌는 그게 언제 중요한지 쟀어요: 건강한 고리에서는 두 손실 모두 훈련돼요(기록된 시드 8개 모두). D가 이기는 설정에서는 포화 손실이 아무것도 배우지 않아요.

여기 모든 손실은 log-sum-exp 요령을 써서 어떤 로그도 0을 보지 않게 해요: log(sigmoid(f)) = -softplus(-f), log(1 - sigmoid(f)) = -softplus(f), softplus(a) = log(1 + e^a)는 np.logaddexp(0, a)로 계산해요.

이 레슨의 단어와 기호
GAN
생성적 적대 신경망: 서로 맞서 훈련하는 생성기와 판별기
생성기 (G)
잡음을 샘플로 바꾸는 신경망
판별기 (D)
샘플이 진짜인지 생성된 건지 점수 매기는 신경망
포화 손실
G가 log(1 - D(G(z)))를 최소화해요. D가 확신하면 기울기가 약 0이라 G가 배우기를 멈춰요
내 차례

점수 배치에 걸친 평균으로 세 손실을 쓰세요: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores), g_loss_nonsat(fake_scores). 그다음 slopes를 채우세요: D(G(z))가 0.001, 0.1, 0.5 각각일 때, 가짜의 점수에 대한 각 생성기 손실의 기울기(샘플 하나에 대해).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.